Milhares de programadores em todo o mundo estão digitando silenciosamente em seus teclados tentando construir o próximo melhor mecanismo de busca. Sergey Brin e Lawrence Page, os famosos criadores do Google, admitem que "projetar um mecanismo de busca é uma tarefa desafiadora". Um mecanismo de pesquisa é usado para encontrar informações na Web. Um mecanismo rastreia a Internet e indexa milhões de páginas de informações, cuspindo resultados quando alguém faz uma pesquisa.
Obtenha um rastreador da Web
Etapa 1
Adquira um rastreador da Web, que é o spider ou bot que rastreia a Internet coletando páginas da Web. Uma aranha visita páginas da Web, lê-as e segue links para outras páginas. Você pode encontrar um rastreador de código aberto ou criar o seu próprio. Se você deseja criar seu próprio rastreador, obtenha uma lista de URLs para propagar seu rastreador. Um rastreador lento é fácil de construir, mas construir um rastreador de alto desempenho para indexar milhões e milhões de páginas é mais desafiador.
Etapa 2
Obtenha o máximo de largura de banda que puder. Você precisa dessa largura de banda para o seu rastreador à medida que ele percorre as páginas da Web, obtendo.
Etapa 3
Construir um índice. Tudo o que seu rastreador encontra vai para o índice do mecanismo de pesquisa. O índice é como um livro ou catálogo gigante contendo uma cópia de cada página da Web que o rastreador encontra. Anna Patterson, da Universidade de Stanford, recomenda indexar apenas os dados necessários para servir seu tipo de resultado de pesquisa. Ela também aconselha que você não deve tentar indexar "a pia da cozinha", mas sim "arranjar algo apresentável".
Etapa 4
Classifique seus resultados no índice usando um banco de dados de alto desempenho e todas as informações em seus servidores do rastreamento da Web. Você precisa processar possivelmente milhões de páginas da Web para criar seu índice. As páginas registradas em seu índice precisam ser classificadas na ordem do que é mais relevante para seus pesquisadores.
Etapa 5
Construa um site atraente para retornar resultados de pesquisa.
Etapa 6
Lance e comercialize seu mecanismo de pesquisa. Um mecanismo de pesquisa gratuito deve levar os usuários aonde eles querem ir de forma rápida e elegante, de acordo com Laszlo Xalieri, do Search Engine Watch.com. Ele diz que para executar um mecanismo de busca bem-sucedido, "seu objetivo é atrair consumidores e vender acesso a eles para profissionais de marketing".
Aviso
Qualquer programador pode iniciar um mecanismo de busca, mas fornecer resultados relevantes é o verdadeiro desafio.
