Configurando Robots.txt y Sitemap.xml para SEO móvil

Escrito por el 23 jun, 2012 en Blog, SEO Móvil | 4 comentarios

Este post es la continuación del “Desarrollo web móvil. SEO”. Vimos las opciones para desarrollar para móviles (web escritorio adaptada a móvil o desarrollo móvil diferenciado) y cuándo merecía la pena cada opción para ayudarte en tu SEO móvil.

Y nos quedamos en las opciones que tienes a la hora de desarrollar una web móvil específica y diferenciada de la web escritorio. ¿Con qué opción te quedarías?:

  • www.m.misitio.com
  • www.misitio.mobi

Personalmente recomiendo la primera. Se está erigiendo como la estándar y te da más flexibilidad. La segunda, la .mobi, implica que todo aquél que usa esa extensión se compromete a ciertas reglas y estándares que ahora se están definiendo.

¿Internet desde un Nokia N-70 o similar?

Los “teléfonos tontos” no existen en mi estrategia internet móvil

Los estándares y protocolos son buenos. Sin ellos avanzaríamos más lentos. Pero ahora mismo te aconsejo que te alejes del .mobi. Esos estándares te harán desarrollar y adaptar tu site para TODO tipo de móviles.
Espera un momento… me dirás que eso es lo que queremos ¿verdad?
De nuevo, depende. Yo no.
No me interesa el que entra en mi site, sobre todo si es de venta, con un Nokia N70 o similar. Ese nunca me va a comprar. De hecho las visitas de estos usuarios serán mínimas. Nulas. No quiero perder tiempo en adaptar mi site a esos “teléfonos tontos”. Sólo quiero adaptar mi site a smartphones. Y por eso elijo www.m.misitio.com.

 

 

Tengo un sitio dedicado y adaptado a móviles. ¿Cómo empiezo el SEO móvil?

Al final, un site móvil es un site. Por tanto empecemos. ¿Qué necesitas siempre en todas las páginas webs?

  • El archivo robots.txt
  • Un sitemap.xml

Un site que se crea sólo para dispositivos móviles ha de tener contenido sólo para móviles. Parece una perogrullada pero si genero contenido para otros dispositivos he de crear un sitemap diferente.

Robots.txt para web móvil

Tienes un site móvil que es una réplica optimizada de tu página web. Por tanto, si no configuras bien tu fichero robots.txt, puede que Google considere que estás duplicando contenido con la correspondiente penalización (si no sabes qué es el archivo robots.txt ni para qué sirve, haz click aquí). Hay dos doctrinas:

  1. Hacer un DISALLOW a tu site móvil
  2. Establecer las URLs canónicas a tu sitio web

La fácil es la primera. Pero como todo lo fácil no la aconsejo. Hacer un Disallow implica que bloqueas el acceso a Google a tu site móvil. Así que te molestas en crear un site para tu móvil, generas contenido único y distinto, call-to-actions y hasta campañas móvil para que luego Google no te rastree.
No tiene sentido pero alguno lo recomienda. Si aún así quieres hacerlo, el fichero se completaría de este modo:

User-Agent: *
Disallow: /

Al poner User-Agent: * indicas tu deseo de que las reglas que pongas han de ser respetadas por todos los motores de búsqueda.
Al poner Disallow: / indicas que no quieres que ninguna parte de tu site móvil sea indexada. Si sólo quieres evitar el acceso a una parte de tu site (por ejemplo, tu aviso legal), la expresión sería “Disallow: /aviso-legal” (supongamos que la URL es del tipo www.m.misitio.com/aviso-legal).

La opción recomendada es la segunda. Establecer las URLs canónicas a tu sitio web, es decir, indicar a Google cuál es el contenido original. Puedes ver ejemplos explicados por la propia Google sobre cómo usar una URL canónica.
En este caso, la configuración del archivo robots.txt sería:

User-Agent: *
Disallow:

Al no indicar nada en “Disallow”, permitimos que todo nuestro site sea indexado. Eso sí, en cada página de nuestro site móvil hemos de indicar, cuando proceda, el contenido original a través de la URL canónica.
Y una URL canónica tiene una pinta como esta. Supongamos que la página de mi sitio móvil es http://www.m.misitio.com/producto-123. Y que el contenido original es www.misitio.com/producto-123. En mi página móvil (en el código fuente) he de establecer la URL canónica de este modo:

<link rel=”canonical” href=”http://www.misitio.com/producto-123″/>

Creando el sitemap.xml

El otro archivo que no ha de faltar, el sitemap.xml, donde indicas y facilitas a los buscadores la estructura de tu site móvil.
La forma de rellenarlo es siempre igual:

<?xml version=”1.0″ encoding=”UTF-8″ ?>
 <urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″
        xmlns:mobile=”http://www.google.com/schemas/sitemap-mobile/1.0″>
<url>
        <loc>http://movil.example.com/articulo100.html</loc>
        <mobile:mobile/>
    </url>
</urlset>

Vayamos por partes y analicemos esa pieza de código. Has de saber lo siguiente. Siempre (al menos de momento) has de incluir estas líneas de código:

<?xml version=”1.0″ encoding=”UTF-8″ ?>
 <urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″
        xmlns:mobile=”http://www.google.com/schemas/sitemap-mobile/1.0″>

A partir de aquí vamos añadiendo la URL. Lo detallo en color rojo abajo.

<url><loc>http://www.m.misitio.com/</loc>
<mobile:mobile/>
</url>

<url><loc>http://www.m.misitio.com/page1</loc>
<mobile:mobile/>
</url>

<url><loc>http://www.m.misitio.com/page2</loc>
<mobile:mobile/>
</url>

</urlset>

Importante que no se te olvide cerrar con la etiqueta </urlset>.
Lógicamente según se vaya generalizando el desarrollo y optimización del SEO móvil irán apareciendo herramientas y cada vez mejores.
Pero antes de fiarnos al cien por cien de una herramienta lo mejor es que sepas cómo rellenar un fichero robots.txt para páginas móviles, establecer las URLs canónicas (opción recomendada), y cuál ha de ser la estructura de tu sitemap.xml. Precisamente para eso y para ayudarte en tus labores de optimización y desarrollo de SEO para móviles he escrito este post

¿Te parecen útiles estos consejos? ¿Echas algo en falta? ¿Te gustaría hacer una contribución?

 

 

Director de e-commerce, Digital Marketing e Innovación en Parques Reunidos, mente emprendedora, y game changer. Inbound Marketer, SEO, Project leader, profesor de Máster, geek, apasionado de la tecnología, la Revolución Móvil y lo que está por llegar. No hay nada imposible si puedes imaginarlo

4 Respuestas a“Configurando Robots.txt y Sitemap.xml para SEO móvil”

  1. Hola, me ha encantado el post. Estaba buscando info para resolver un problema y me encuentro con tu comentario y me ha aclarado bastante. Tengo un site con una versión móvil con RESPONSIVE DESIGN, o sea las mismas páginas, pero solo el diseño se adapta a la pantalla.
    El Robots txt ya lo tengo claro, pero me ha entrado una duda con el sitemap. Tengo el de web creado y subido a los buscadores, pero ahora debo subir el correspondiente al móvil, para que sepan que hay una versión móvil. Bien, lo que voy a hacer es en cada página, establecerla a si misma como canónica. El sitemap es el mismo, pero lo he guardado con otro nombre y hecho las modificaciones correspondientes de etiquetas que he añadido así como el xmlns correspondiente. Este sitemap lo guardo con el nombre sitemapmobile.xml y lo subiré a Google y Bing en su sección correspondiente.
    No sé si es correcto esto que voy a hacer, y si en Robots.txt debería especificar algo sobre los motores de busqueda móvil del Yahoo y Google.
    Gracias por el post y tu respuesta.

  2. tu mismo te has respondido ;)

  3. Muy interesante este post, pero tengo dos dudas, cuando dices que debe generarse contenido único y distinto para un site móvil te refieres que si por ejemplo tengo un post en la versión escritorio el contenido debe ser distinta a la versión móvil?.
    No puede tener el mismo contenido? ya que en la versión móvil de mi web tengo responsive disign pero el contenido es el mismo.

    Otra pregunta, Yo ya tengo uns sitemap creado, ahora debo crear otro sitemap con diferente ruta es decir: http://www.ejemplo.com/sitemapmovil,xml ? O lo puedo agregar en mi único sitemap que ya tengo creado?.

    • Hola @glory. Si tú ya tienes un site en Responsive Design, NO HAS DE PREOCUPARTE DE NADA. Eso es lo bueno del Responsive Design. Un desarrollo, mismo HTML y misma URL para todos los dispositivos. Se duplica contenido cuando haces un desarrollo para PC, y otro distinto para móvil (siendo la URL de este último, normalmente, algo parecido a m.sitioweb.com).
      Respondiendo a tu pregunta sobre el sitemap. Si tu desarrollo ya está hecho en Responsive Design, no tienes que hacer nada más ni subir un nuevo sitemap.xml. Insisto, recuerda que el desarrollo en Responsive es un desarrollo, mismo HTML, mismo contenido y misma URL para móvil y PC (por tanto no puede haber duplicidad)
      Espero haberte ayudado.
      Un saludo

Trackbacks/Pingbacks

  1. Desarrollo Web Móvil... ¿Por dónde empezar? | Blog de IEBSchool - [...] switchboard para evitar la penalización de tu site por duplicación, configurar los ficheros robots.txt y sitemap.xml [...]
  2. Desarrollo web móvil… ¿Por dónde empezar? | El Blog de Eduardo Cano. The Future is Mobile - [...] switchboard para evitar la penalización de tu site por duplicación, configurar los ficheros robots.txt y sitemap.xml [...]
  3. Web móvil. ¿Por dónde empiezo? | En Web SolucionesEn Web Soluciones - [...] Más carga de SEO móvil. Has de implementar las etiquetas switchboard para evitar la penalización de tu site por duplicación, configurar …
  4. Google está penalizando tu web móvil. SEO Móvil | El Blog de Eduardo Cano. The Future is Mobile - [...] como pasa en la mayoría de los desarrollos, nadie sabe sobre SEO móvil, etiquetas switchboard, sitemap.xml móvil, robots.txt móvil …
  5. Conoce el nuevo user agent de Google para Smartphones | El Blog de Eduardo Cano. Mobile is King - […] que, como no podía ser de otro modo, el nuevo Googlebot seguirá las indicaciones de tu fichero robots.txt y …
  6. Por qué el Responsive Design mejora tu Marketing Online | El Blog de Eduardo Cano. Mobile is King - […] eso por no hablar de toda la optimización SEO que hay que hacer en los sites dedicados a móvil. …
  7. SEO para móviles apesta. Desmontando mitos | El Blog de Eduardo Cano. Mobile is King - […] haces un site diferente para móvil y para escritorio has de introducir las etiquetas switchboard y configurar tus ficheros …
  8. Conoce el algoritmo que viene. Google "Mobile-Friendly" | El Blog de Eduardo Cano. Mobile is King - […] (y coste) razonablemente corto una web dedicada móvil, con una optimización correcta (recuerda su sitemap.xml y robots.txt móvil, sus …

Y tú, ¿Qué opinas?

%d personas les gusta esto: