Web Superficial y Web Profunda

Web Superficial

La Web Superficial comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta en sus formularios de búsqueda.
Las características principales de los sitios de la Web visible son:

• su información no está contenida en bases de datos
• es de libre acceso
• no se requiere la realización de un proceso de registro para acceder a la información.
• mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.

Web Profunda

La Web Profunda o invisible es el término utilizado para describir toda la información disponible en Internet que no se recupera interrogando a los buscadores convencionales.

Se identifican cuatro tipos de contenidos invisibles en la Web:

1. la Web opaca

Podrían estar indexadas pero no lo están por los siguientes siguientes motivos: 
• Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
• Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
• Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
• URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.

2. la Web privada

Excluidas deliberadamente por alguno de estos motivos: 
• Las páginas están protegidas por contraseñas.
• Contienen un archivo “robots.txt” para evitar ser indizadas.
• Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.

3. la Web propietaria

Páginas en las que es necesario registrarse

4. la Web realmente invisible

No pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.

Hay mucha información que no se puede encontrar en los buscadores tradicionales y cada vez hay una mayor tendendia a generar desarrollos de forma "invisible"