El primero de los consejos es utilizar herramientas para comprimir los documentos que se sirven. La mayoría de los navegadores y muchos de los robots de los buscadores (el de Google desde septiembre) son capaces de acceder a documentos HTML comprimidos, por lo que los webmasters pueden ahorrar hasta un 75-80% de ancho de banda. Si utilizas Apache.
El segundo de los consejos es que los webmasters activen el 'If-Modified-Since' en las opciones de su servidor web. De esta manera, le podrán decir a los robots de los buscadores y a los navegadores si su contenido se ha modificado desde la última vez que visitaron una determinada página. Si no es así, estas aplicaciones utilizarán su caché y no gastarán ancho de banda del servidor web.
Por último,también recomienda utilizar la directiva 'crawl-delay' dentro del fichero 'robots.txt' del servidor web. Esta directiva solo está soportada por los buscadores de Yahoo! y de MSN, y recuerda al robot que debe volver a visitar un determinado sitio web al cabo de un cierto número de segundos como mínimo.
NOS VEMOS.