Monitoramento de páginas

Monitore URLs conhecidas e receba alertas sobre mudanças relevantes nas páginas

O monitoramento de páginas acompanha URLs que você já conhece. Cada verificação faz scraping de cada URL no alvo, gera um diff em relação ao último snapshot retido e informa se a página está same, changed, new, removed ou error. É a escolha certa para páginas de preços, changelogs, páginas de documentação, anúncios de vagas, páginas de status ou qualquer URL conhecida em que uma pequena mudança faça diferença.

Esta página aborda o alvo scrape. Agendamento, objetivos e judging, rastreamento de mudanças, notificações e preços são compartilhados entre todos os tipos de monitoramento. Consulte a visão geral do monitoramento.

​

Criar um monitor de página

Crie um monitor com um alvo scrape que inclui uma ou mais URLs explícitas:

Python

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # Endpoints de monitor requerem uma API key:
  api_key="fc-YOUR-API-KEY",
)

monitor = firecrawl.create_monitor(
    name="Hacker News AI monitor",
    schedule={"text": "every 30 minutes", "timezone": "UTC"},
    goal=(
        "Alert when a new Hacker News story related to AI enters the top 10. "
        "Ignore changes to stories that are not about AI. "
        "Do not alert on changes outside the top 10."
    ),
    targets=[
        {
            "type": "scrape",
            "urls": ["https://news.ycombinator.com"],
        }
    ],
    notification={
        "email": {
            "enabled": True,
            "recipients": ["[e-mail]"],
            "includeDiffs": True,
        }
    },
)

print(monitor.id)

Você também pode criar monitores usando a CLI do Firecrawl:

CLI

firecrawl monitor create --name "Hacker News AI" \
  --schedule "every 30 minutes" \
  --goal "Alert when a new Hacker News story related to AI enters the top 10. Ignore changes to stories that are not about AI. Do not alert on changes outside the top 10." \
  --page https://news.ycombinator.com

​

Alvo scrape

Um alvo scrape exige type e um array urls com pelo menos uma URL. As opções de scraping são repassadas para os jobs de scraping correspondentes. Os scrapes acionados pelo monitor usam maxAge com valor padrão 0, então cada verificação executa um novo scraping, a menos que você defina explicitamente um maxAge diferente.

Scrape target

{
  "type": "scrape",
  "urls": ["https://example.com/pricing"],
  "scrapeOptions": {
    "formats": ["markdown"],
    "maxAge": 0
  }
}

​

Detectando mudanças em nível de campo

Por padrão, um monitor de página faz o diff do markdown da página. Para alertar apenas quando um campo específico mudar, como um preço, uma manchete, um indicador de estoque ou os itens de uma lista, adicione o formato changeTracking a scrapeOptions do alvo. Consulte Rastreamento de mudanças para o modo JSON e o modo misto.

​

Configuração compartilhada

• Agendamentos: cron ou intervalo em linguagem natural, com mínimo de 5 minutos.
• Objetivos e avaliação: alerta apenas sobre mudanças relevantes.
• Notificações: entrega por webhook e email.
• Resultados das verificações: inspecione cada verificação e seus diffs por página.
• Preços: 1 crédito por URL por verificação, além da avaliação opcional.