Baixar resultados

Toda página de resultados tem botões que baixam o que a busca encontrou: URLs, CSV e CSV+trechos. Quem entrou na conta também tem Cluster, que salva os resultados em vez de baixá-los. As linhas vêm na mesma ordem da página de resultados.

O que cada botão entrega

O arquivo recebe o nome da consulta, sem tudo o que não for letras latinas, dígitos, - e _: "static.hotjar.com" gera statichotjarcom.csv.

O formato

• UTF-8. No CSV e no CSV+trechos, a primeira linha traz os nomes das colunas: url;rank ou url;rank;snippets. O arquivo de URLs não tem essa linha.
• As colunas são separadas por ponto e vírgula ;. Uma célula que contém ponto e vírgula, vírgula, tabulação, aspas duplas ou uma quebra de linha vai entre aspas duplas, e as aspas dentro dela são duplicadas. É CSV padrão: uma planilha ou uma biblioteca de CSV lê o arquivo como está, com o ponto e vírgula escolhido como separador, e uma célula continua inteira mesmo que a vírgula ou a tabulação também seja escolhida.
• A posição é o lugar do site no ranking de popularidade. Fica vazia para um site que não tem posição.
• Todos os trechos de uma página ficam em uma única célula, unidos com ....
• Um trecho que começa com =, +, - ou @ ganha um apóstrofo na frente, para que a planilha o mostre em vez de executá-lo como fórmula. Números, como números de telefone, ficam como estão.

Quantas linhas

As linhas são tiradas do topo dos resultados, até o limite do plano: Resultados por busca ou download para URLs e CSV, Download com trechos (linhas) para CSV+trechos. Os números estão na página Preços. Sem fazer login, um arquivo traz a primeira página de resultados: até 20 linhas.

Os sites ocultos no seu plano - as linhas mostradas como Cadastre-se para ver ou Faça upgrade para ver - não entram no arquivo. Os resultados seguem a popularidade e os sites ocultos vêm depois dos abertos, então um arquivo pode ser menor que o limite ou não ter nenhuma linha; nesse caso, os botões de download ficam inativos.

A dica de cada botão diz quantas linhas o arquivo terá, por exemplo 7 de 1.059 linhas: os sites ocultos no seu plano não são baixados. Quando a página não mostra onde terminam as linhas abertas, ela diz No máximo: o arquivo termina no primeiro site oculto no seu plano, que pode vir antes.

Quando o arquivo é menor que os resultados, a última linha diz por quê:

# Truncated at the plan limit: 1000 of 22694 results.
# 7 of 1059 results: websites hidden on your plan are left out.

A primeira forma significa que o limite de linhas do plano foi atingido; a segunda, que os sites ocultos no seu plano ficaram de fora. A linha começa com # e é escrita no idioma do site de onde você baixou; os números dela não têm separador de milhar. Não é um resultado: pule-a ao ler o arquivo em um programa. Quando ela não aparece, o arquivo traz todos os resultados.

Um download é cobrado como a própria busca: uma busca da cota diária e, no CSV+trechos, também um download com trechos - veja cotas e limite de requisições. Quando as buscas do dia acabam, o download traz o que o plano gratuito permite, e a última linha diz que o arquivo foi cortado.

A partir de um script

Os botões são links na página de resultados; o endereço neles funciona por dez minutos a partir do endereço de rede que abriu a página. Para baixar pelo seu próprio código, use a API: /v1/search com format=csv ou format=txt. As URLs de exportação antigas com ?key= mantêm exatamente o formato antigo: as células não vão entre aspas, não há última linha e um site sem posição mostra >30M.

Outros downloads

• Um cluster - o ícone de download na lista de clusters gera um arquivo de texto com os domínios dele, um por linha.
• Extração - um CSV separado por vírgulas, não por ponto e vírgula, com uma linha de cabeçalho: o domínio e depois uma coluna por expressão. Vários valores encontrados no mesmo site dividem uma célula, um por linha. A última linha, que começa com #, diz quantos pontos de extração a execução usou; quando os pontos do dia acabam, a linha anterior diz de onde continuar. Veja Extração.