Se a programação é como mágica, então o web scraping é certamente uma forma de aplicação dessa mágica.Ao escrever um programa automatizado simples, você pode consultar servidores da web, solicitar dados e analisá-los para extrair as informações necessárias.Esta terceira edição, totalmente atualizada, não só apresenta você ao web scraping, mas também serve como um guia abrangente para coletar quase todos os tipos de dados disponíveis na web.A Parte I deste livro tem como foco os princípios básicos do web scraping:como utilizar Python para solicitar informações de um servidor web, realizar o tratamento básico da resposta do servidor e começar a interagir com sites de forma automatizada.A Parte II explora uma variedade de ferramentas e aplicações mais específicas para se adequar a qualquer cenário de web scraping que você provavelmente encontrará.Este livro mostra como:•Fazer o parsing de páginas HTML complexas•Desenvolver crawlers com o framework Scrapy•Aprender métodos para armazenar os dados coletados•Ler e extrair dados de documentos•Limpar e normalizar dados mal formatados•Ler e escrever linguagens naturais•Rastrear formulários e logins•Fazer o scraping de JavaScript e rastrear APIs•Utilizar e escrever software de conversão de imagem em texto•Evitar armadilhas de scraping e bloqueadores de bots•Utilizar scrapers para realizar testes em seu site