Una persona anónima se comunicó con la gente de TechCrunch para comentarle que el bot de Cuil está dejando sin servicio muchas de las páginas que va indexando.
No sé exactamente qué pasó, pero cuando Cuil trata de indexar un sitio lo hace matándole el tráfico a la web, tanto que tira el sitio abajo. Hace 24 horas que están haciendo el index de un sitio y tuve que restringir el tráfico a sólo dos paquetes por segundo, de otra forma inutilizaría el sitio”.
Mucha gente del foro Admin Zone comenta que sus sitios se cayeron cuando Twiceler, nombre del bot de Cuil, les comió todo el ancho de banda.
Algunos miembros del sitio explican que la forma en la que Cuil indexa los sitios no es para nada científica, de hecho, la llaman “amateur”. Esto se debe, supuestamente, a que Twiceler comienza a generar pseudo-páginas de forma aleatoria tratando de encontrar páginas que son inaccesibles a través de links.
Algunos admins contactaron a la gente de Cuil y James Akers, ingeniero de operaciones del nuevo buscador respondió:
Twiceler es un rastreador experimental que estamos desarrollando para el nuevo buscador. Es importante para nosotros que obedezca a robots.txt y que no rastree sitios que no quieran ser rastreados”.
Además Akers también comentó que Cuil encontró algunos robots que se hacen pasar por Twiceler pero que, en realidad, no lo son. O Twiceler está completamente fuera de control tirando páginas abajo en vez de hacer su trabajo o alguna empresa está haciéndole una verdadera mala fama a Cuil.