Cómo extraer datos de sitios protegidos como Amazon directamente desde Google Sheets con Bright Data

Hoy, vamos a derribar ese muro. Vamos a actualizar nuestro script original para convertirlo en una herramienta de extracción de datos de nivel profesional que pueda manejar los desafíos de la web moderna, todo mientras mantenemos la comodidad de gestionar todo desde tu Google Sheet.

¿Por qué fallan las herramientas de extracción de datos sencillas? El desafío de la web moderna

Los sitios web han evolucionado. Ya no son solo páginas estáticas. Cuando una herramienta de extracción de datos sencilla como la nuestra original falla, suele ser por una de estas razones:

• Contenido renderizado con JavaScript: Muchos sitios cargan una página básica primero y luego usan JavaScript para obtener y mostrar el contenido real (como precios o detalles de productos). UrlFetchApp de Google a menudo solo ve la página inicial vacía, perdiendo los datos que necesitas.
• Protecciones anti-extracción de datos: Para prevenir abusos y proteger sus datos, los sitios web emplean defensas sofisticadas. Las más comunes son:
  • Bloqueo de IP: Si un servidor detecta demasiadas solicitudes desde una única dirección IP (como los servidores de Google), la bloqueará.
  • CAPTCHAs: Esas pruebas de “No soy un robot” están diseñadas para detener los scripts automatizados.
  • Huella digital del navegador: Los sitios web pueden verificar si una solicitud proviene de un script automatizado en lugar del navegador de un usuario real.

Intentar librar esta batalla solo es un constante y frustrante juego del gato y el ratón. La solución es utilizar un servicio especializado que ya haya resuelto estos problemas.

La solución: Web Unlocker de Bright Data

Aquí es donde entra en juego un servicio como Bright Data. Bright Data es una plataforma líder en datos web que proporciona la infraestructura necesaria para acceder a datos web públicos de forma fiable. En lugar de hacer una solicitud directa desde Google al sitio web de destino, enviamos nuestra solicitud a Bright Data. Luego, ellos utilizan su vasta red de proxies y su inteligente tecnología “Web Unlocker” para:

• Enrutar tu solicitud a través de una dirección IP residencial o móvil real, haciendo que parezca la de un usuario normal.
• Resolver CAPTCHAs automáticamente.
• Gestionar huellas digitales del navegador y cookies.
• Reintentar solicitudes fallidas hasta que tengan éxito.

En esencia, Bright Data maneja todos los complejos problemas de bloqueo, asegurando que obtengas el HTML limpio que necesitas, cada vez.

Bright Data vs. Apify: Una perspectiva profesional

Al buscar soluciones de extracción de datos, a menudo verás mencionar a Apify. Es una plataforma potente con un mercado de “Actores” (herramientas de extracción de datos preconstruidas), muchos desarrollados por la comunidad. Esto es genial, pero puede sentirse menos centralizado que un servicio como Bright Data, que considero un servicio más profesional y enfocado en empresas.

Ambas plataformas ofrecen herramientas a medida que pueden extraer datos de sitios web específicos y devolver datos JSON estructurados. Sin embargo, para nuestro enfoque universal, estamos utilizando el “Web Unlocker” de Bright Data. Esta es una herramienta de propósito general que devuelve de forma fiable el contenido HTML completo de cualquier URL, dándonos la máxima flexibilidad. Si bien Apify tiene potentes herramientas de extracción de datos para sitios específicos, no ofrece una única herramienta universal como el Web Unlocker que esté diseñada para simplemente devolver el HTML sin procesar de cualquier URL, sin importar la protección.

En mi opinión, aunque ambos servicios son excelentes, considero que Bright Data es más robusto y fiable para tareas críticas de negocio. Su modelo de precios también es más directo. Apify utiliza un modelo de suscripción basado en “créditos de plataforma”, lo que puede dificultar la predicción de costos. El plan de pago por uso de Bright Data cuesta alrededor de $1.50 por cada 1,000 solicitudes exitosas. Esta transparencia es perfecta para nuestro proyecto, y desde una perspectiva de integración y costo, creo que Bright Data ofrece una mejor propuesta de valor.

Características destacadas de Bright Data

• Segmentación por geolocalización: Puedes hacer que tus solicitudes parezcan provenir de un país, estado o incluso ciudad específica. Esto es esencial para la extracción de contenido localizado, como precios regionales, resultados de búsqueda locales o disponibilidad de tiendas.
• Extraer como Markdown: La API puede devolver el contenido extraído directamente en un formato Markdown limpio. Esto es increíblemente potente para alimentar datos directamente a modelos de IA o generar documentación sin necesidad de analizar HTML complejo primero.
• Devolver una captura de pantalla: Puedes solicitar una captura de pantalla visual de la página de destino. Esto es invaluable para la verificación visual, archivar cómo se veía una página en un momento específico o depurar problemas donde el diseño afecta los datos.
• Cookies y encabezados personalizados: La API te permite enviar tus propios encabezados y cookies personalizados con una solicitud. Esta es una característica avanzada para imitar una sesión de usuario iniciada o un tipo específico de navegador para acceder a datos que requieren autenticación o configuraciones particulares del navegador.

El script actualizado: Cómo funciona

La evolución de nuestro script va mucho más allá de simplemente cambiar una llamada a la API. Lo hemos transformado en una herramienta mucho más profesional y de propósito general.

• Una mejora completa del flujo de trabajo: Si bien reemplazar UrlFetchApp con Bright Data fue el cambio principal para manejar sitios protegidos, hemos mejorado todo el flujo de trabajo.
• Extracción de datos iniciada directamente desde Hojas de cálculo: El script ahora es un script vinculado, lo que significa que está directamente adjunto a tu Google Sheet. Hemos añadido un elemento de menú personalizado que te permite activar todo el proceso con un solo clic, haciendo la experiencia del usuario mucho más fluida.
• Extraer cualquier texto, no solo precios: Hemos eliminado toda la lógica específica de precios. El script ahora es completamente genérico, capaz de extraer cualquier dato basado en texto al que lo dirijas, ya sea un título de producto, un estado de stock, una reseña de usuario o un titular de noticias.
• Capturar múltiples resultados de una sola página: La mejora funcional más significativa es la capacidad de extraer múltiples elementos de una sola página. Si tu selector CSS coincide con varios elementos (como todos los nombres de productos en una página de categoría), el script ahora los extraerá todos y los colocará ordenadamente en una columna separada en tu hoja.

Estos cambios elevan el script de un simple rastreador de precios a un versátil y robusto motor de extracción de datos gestionado completamente dentro de tu Google Sheet.

Desde el punto de vista técnico, funciona de la siguiente manera:

• Toma la URL de destino de la que quieres extraer datos.
• Lo empaqueta en una solicitud a la API de Bright Data.
• Incluye tu clave API secreta para la autenticación.
• Envía la solicitud y devuelve el HTML limpio que Bright Data recupera.

¡El resto de nuestro script permanece más o menos igual!

Cómo configurar y usar la herramienta de extracción de datos actualizada

Empezar implica una configuración sencilla y única para conectar tu Google Sheet al script necesario y a la API de Bright Data. Sigue estos pasos para poner en marcha tu nueva y potente herramienta de extracción de datos.

1. Paso: Crear la Google Sheet y abrir Apps Script
   Primero, ve a tu Google Drive y crea una nueva Google Sheet. Desde el menú de tu nueva hoja, navega a Extensiones > Apps Script. Esto abrirá el editor de scripts en una nueva pestaña del navegador, donde colocarás el código de la herramienta de extracción de datos.
2. Paso: Instalar el código de la herramienta de extracción de datos y la librería requerida
   1. Pegar el código de Apps Script: Desplázate hacia abajo para encontrar el script completo. Copia el código, pégalo en el editor de Apps Script que acabas de abrir y haz clic en el icono ‘Guardar’.
   2. Añadir la librería Cheerio: El script se basa en una librería llamada Cheerio para leer y analizar eficientemente el HTML de una página web, facilitando la extracción de datos específicos utilizando un selector CSS.
      • En el menú de la izquierda del editor de scripts, haz clic en el icono de más (+) junto a ‘Librerías’.
      • Se te pedirá un ID de Script. Para encontrarlo, abre una nueva pestaña y busca en Google “Cheerio Apps Script.” El primer resultado suele ser una página de GitHub que contiene el ID.
      • Copia el ID de Script de la página de GitHub, vuelve a tu editor de scripts y pégalo en el campo ID de Script. Haz clic en el botón ‘Buscar’.
      • Selecciona la última versión disponible en el menú desplegable y haz clic en el botón ‘Añadir’. Cheerio ya está vinculado correctamente a tu proyecto.
3. Paso: Configurar la conexión a la API de Bright Data
   Nuestro script envía solicitudes a Bright Data, que luego recupera el HTML del sitio web de destino en tu nombre, eludiendo cualquier sistema anti-bot.
   1. Obtener tu clave API de Bright Data:
      • Ve al sitio web de Bright Data y crea una cuenta.
      • Una vez iniciada la sesión, navega a ‘Proxies & Scraping Infrastructure’ en la navegación lateral izquierda. Haz clic en el botón ‘Añadir’ y selecciona ‘Web Unlocker’.
      • Deberás configurar una ‘zona’, que es una configuración para tus tareas de extracción de datos. Los ajustes predeterminados son adecuados para la mayoría de los sitios web. Sin embargo, si planeas extraer datos de sitios altamente protegidos (conocidos como ‘dominios premium’), debes habilitar la configuración de dominios premium para tu zona.
      • Después de hacer clic en ‘Añadir’ para crear la zona, se generarán tu clave API y tu ID de Zona. Copia ambos.
   2. Añadir credenciales al script:
      • Vuelve a tu editor de Apps Script.
      • Pega la clave API y el ID de Zona en sus respectivas variables de marcador de posición en la parte superior del script.
      • Haz clic en el icono ‘Guardar proyecto’.
4. Paso: Ejecutar la herramienta de extracción de datos y conceder permisos
   Ya estás listo para comenzar la extracción de datos.
   1. Actualiza tu Google Sheet. Después de recargar, verás un nuevo elemento de menú personalizado llamado ‘Scraper’.
   2. En tu hoja, pega una URL en la columna A y su selector CSS correspondiente en la columna B.
   3. Haz clic en el menú ‘Scraper’ y selecciona ‘Ejecutar Scraper’.
   4. Autorizar el script: La primera vez que lo ejecutes, Google requerirá tu permiso para que el script funcione.
      • Aparecerá una ventana de ‘Autorización requerida’. Haz clic en ‘Revisar permisos’.
      • Elige tu cuenta de Google. Es posible que veas una pantalla que dice: “Google no ha verificado esta aplicación.” Esto es perfectamente normal y esperado, ya que el script necesita permiso para conectarse a un servicio externo y modificar tu hoja de cálculo.
      • Revisa y concede todos los permisos necesarios para continuar.

Ahora que la configuración está completa, puedes ejecutar la herramienta de extracción de datos en cualquier momento desde el menú personalizado. El script se ejecutará y rellenará los resultados directamente en tu hoja en cuestión de segundos.

El código fuente

Código fuente en Github.

Nuevas oportunidades de negocio desbloqueadas

Con esta herramienta de extracción de datos supercargada, ahora puedes construir potentes herramientas de automatización de negocios que antes eran imposibles:

• Comparación de precios fiable: Rastrea precios en las principales plataformas de comercio electrónico como Amazon o Walmart sin ser bloqueado.
• Alertas de ofertas inmobiliarias: Extrae datos de múltiples portales inmobiliarios para nuevas propiedades que coincidan con tus criterios exactos y recibe notificaciones al instante.
• Generación de leads: Extrae información comercial de directorios en línea protegidos para crear listas de leads segmentadas.
• Monitoreo de noticias y marca: Rastrea sitios de noticias, blogs y foros en busca de menciones de tu marca, competidores o palabras clave de la industria para mantenerte al tanto de las tendencias y gestionar tu reputación.
• Monitoreo de sitios web de la competencia: Vigila los sitios web de tus competidores para detectar cualquier cambio —desde sutiles actualizaciones de texto hasta rediseños importantes— y recibe alertas automáticamente.
• Análisis de mercado y competencia: Monitorea diariamente los niveles de stock de productos de tus competidores, los lanzamientos de nuevos productos o las reseñas de clientes.

Resumen: Por qué esta actualización cambia las reglas del juego

Al cambiar de UrlFetchApp a Bright Data, hemos transformado nuestra sencilla herramienta en un robusto motor de recopilación de datos. Las ventajas clave son:

• Fiabilidad: No más solicitudes fallidas o datos perdidos. Obtienes lo que pides.
• Potencia: Extrae datos fácilmente de sitios web dinámicos y con mucho JavaScript.
• Sigilo: Evita las protecciones anti-extracción de datos comunes sin esfuerzo.
• Simplicidad: Toda la complejidad es manejada por Bright Data, mientras tú sigues gestionando todo desde una sencilla Google Sheet.

Ahora tienes una solución de extracción de datos web de nivel profesional al alcance de tu mano, abriendo un nuevo mundo de posibilidades de automatización basadas en datos para tu negocio.