¿Cómo funcionan los motores de comparación de precios?

En lugar de enumerar todas las soluciones, permítame centrarme en todos los desafíos, problemas y compensaciones que enfrentamos al crear uno de los principales motores de comparación que existe para el comercio electrónico indio: Gludo.

Recolección de datos (dificultad media)

Como probablemente ya habrás adivinado, el primer paso es recopilar datos de varios sitios web para compararlos. Hay dos formas de recopilar datos:

  1. Rastrea los sitios web
    1. Esta es una opción lenta pero precisa y rica.
    2. Es lento porque no puede rastrear sitios web más allá de una cierta velocidad. Los sitios web tienen configurados mecanismos anti rastreo que lo bloquearán si los bombardea con demasiadas solicitudes.
    3. Los datos son ricos porque puede tener toda la información disponible para los usuarios en la página web.
    4. Existen múltiples servicios de proxy que le permiten anonimizar su solicitud y ayuda a su rastreador a evitar que lo baneen. Ejemplo: tor. Otros servicios pagos están disponibles también.
    5. Dificultad de implementación: media. Debe escribir rastreadores separados para cada sitio web que desee comparar. Por lo tanto, hay mucho trabajo manual.
  2. Feeds de afiliados
    1. Esto es más rápido, pero puede ser menos preciso y menos rico en datos que el rastreo.
    2. Puede descargar el feed de sus respectivas cuentas de afiliados. Estas alimentaciones tienden a ser menos precisas pero aceptables hasta cierto punto.
    3. Los datos de los feeds son menos ricos porque solo hay información básica disponible a través de feeds como título, url, tamaño de color, etc.
    4. Nivel de implementación: fácil. La implementación es fácil ya que obtienes feeds xml o csv de datos. Analizar estos es fácil.
  3. Estas son las dos únicas opciones legales y éticas que se nos ocurrieron. Por lo tanto, implementamos solo estos. Avíseme si tiene ideas más innovadoras para recopilar datos en los comentarios. Agregaré a esta respuesta.

Se puede utilizar una combinación de las ideas anteriores para crear un buen sistema para recopilar datos.

Deduplicación (dura)

Hay sitios web que tienen múltiples instancias de un solo producto. Por ejemplo, eBay enumera el mismo teléfono móvil de varios vendedores en su sitio web. Esto lleva a muchos datos sucios. Estos pueden limpiarse utilizando técnicas similares que se describen en la siguiente sección “Coincidencia de productos”.

Coincidencia de productos (extremadamente difícil)

El segundo paso es hacer coincidir productos de diferentes fuentes como Amazon y Flipkart. Este es el quid del problema e involucra algoritmos complejos de aprendizaje automático para la simple coincidencia de atributos. No se me permite hablar sobre algoritmos específicos o tecnología que utilizamos para resolver este problema en público, pero ciertamente puedo discutir algunas ideas no tan esotéricas aquí. Para hacer coincidir un producto, puede aplicar los siguientes trucos y técnicas además de los algoritmos de ML para facilitar el problema:

  1. Haga coincidir productos dentro de la misma categoría, es decir, haga coincidir Mobiles de Amazon con Mobiles de Flipkart.
  2. Haga coincidir productos con los mismos atributos, como unique_id, color, tamaño, título, etc.
  3. Utilice el procesamiento de imágenes para unir imágenes.

Hay muchos desafíos para hacer coincidir correctamente:

  1. Los atributos no son exactamente iguales. Por ejemplo, el título en un sitio web lo llama “Moto G4”, mientras que otro sitio web lo llama “Motorola 4thGen G series”.
  2. Los datos están mal categorizados. Por ejemplo, a veces los accesorios móviles están marcados como móviles en sitios web.
  3. Falta de suficientes atributos para poder productos entre sí. Por ejemplo, varios jeans solo dicen “jeans de hombre azul”.

Presentación (fácil)

La capa de presentación necesita todas las tecnologías que de otro modo serían necesarias para una plataforma de comercio electrónico: aplicación de Android, aplicación de iPhone, sitio web, motor de búsqueda, marco de api, etc. No hablaré mucho de esto aquí ya que este problema no es específico para la comparación motor.

SEO (difícil)

Para cualquier startup, la visibilidad es un gran problema. Aparecer orgánicamente en la búsqueda es difícil. Para los motores de comparación, es más difícil porque se trata esencialmente de datos duplicados como sitios web como Amazon, Snapdeal, etc. Esto hace que la lucha sea aún más difícil.

Ingresos

Después de todo, para cualquier negocio se reduce a cuánto dinero puede ganar. Hemos encontrado estas posibles opciones para la monetización:

  1. Afiliado
    • Sitios web como Amazon Flipkart y Snapdeal le proporcionan cuentas de afiliados. Puede redirigir el tráfico a su sitio web y, si se realiza una compra, se agrega alguna comisión a su cuenta.
    • Para saber más sobre las estimaciones de ingresos, lea la respuesta del usuario de Quora a ¿Cómo se estiman los ingresos del sitio de comparación de precios?
  • Sugiérame más opciones en los comentarios; en caso de que le gustaría discutir.

Inicio de su propio motor de comparación:

Mi experiencia dice que es mucho trabajo en el lado de la ingeniería y de lo contrario hacerlo bien. Definitivamente no es un juego de un solo hombre para ocuparse de toda la complejidad operativa. Ninguna startup es un juego de hombre de hecho. Puede parecer una idea de inicio lucrativa para un joven ingeniero, pero en mi experiencia, hay muchas variables ocultas y el crecimiento es muy lento si elige un dominio abarrotado como el comercio electrónico.

Gastos

Los rastreadores y analizadores deben ejecutarse continuamente para mantener los datos actualizados. Esto necesita mucha potencia de cálculo si tiene la intención de tener decenas de millones de productos. También el servicio proxy pagado por solicitud anónima cuesta mucho. En general, puede costar entre $ 500 y $ 2000 por mes, dependiendo de la escala de su proyecto. Para su información, usamos Amazon Web Services.

Autopromoción descarada

Hay muchos problemas de ingeniería que aún no se han resuelto. Envíeme un correo electrónico a [Mayank @ Gludo dot com] si desea unirse a nosotros.

Paz.

Los sitios de comparación de precios recopilan datos directamente de minoristas de comercio electrónico. Los minoristas que desean incluir sus productos en el sitio web de comparación de precios, envían sus propias listas de productos y precios, y estos se comparan con la base de datos original.

Los sitios de comparación de precios también pueden recopilar datos a través de un archivo de datos. Los minoristas brindan información electrónicamente. Estos datos luego son importados por el sitio web de comparación.

Recientemente hemos publicado un nuevo artículo que dibuja el panorama de comparación de precios en Europa. En caso de que desee promocionar sus productos o si es un comprador en línea, le recomiendo leer el artículo. Lea el panorama de comparación de precios en Europa

No hay una respuesta fácil para esta pregunta. Le daré mi respuesta como desarrollador de software en http://www.fastblr.com, un comparador de precios de zapatillas.

En realidad, depende de la información que las tiendas brinden al afiliado y, lo que es más importante, de la calidad de esa información. Por ejemplo, hay lugares como Amazon que tienen un feed de propósito general y si se les solicita un feed más preciso y actualizado con frecuencia. Incluso tienen una API, pero generalmente la API no es el método más común utilizado por otras tiendas. Siempre depende del tipo de negocio.

Por lo general, otras tiendas también tienen feeds, pero se actualizan una vez al día, por lo que no es demasiado bueno para un motor de comparación de precios. O peor aún, no tienen los precios de envío o el stock actual del producto. ¿Qué hace el afiliado para resolver ese problema? Bueno, en la mayoría de los casos, una cosa llamada raspado. Tienen “robots” que pueden escanear las tiendas y extraer los precios con mayor frecuencia, pero esta práctica no está permitida en todas las tiendas, así que tenga cuidado de no hacerlo si no está aprobada por la tienda.

Saludos cordiales y espero que esta respuesta sea útil para usted.

Estaba interesado en esta pregunta ya que quería crear una extensión de cromo de comparación de precios. Aquí se proporcionaron muchas sugerencias e intenté algunas de ellas antes de finalizar mi enfoque, y a continuación, entiendo algunos puntos clave,

1. Amazon proporciona sus API. Se pueden obtener muchos datos utilizando estas API. Sin embargo, hay otro conjunto de datos que no se transmiten, como las revisiones detalladas. Por lo tanto, use esta API si necesita una funcionalidad estándar.

2. Hay sitios web que proporcionan datos agregados para algunos de los sitios de comercio electrónico, sin embargo, debe tener en cuenta que los mismos datos también estarán disponibles para sus competidores. Y los precios a veces no son precisos. Pero como depende de ellos, no tiene control sobre los datos.

Para mi extensión de comparación de precios,

SmartlyKhareed

He usado híbridos de enfoques,

a. Se utilizó el raspado web en la mayoría de los sitios web de comercio electrónico. Sé que es difícil y complejo, pero al final, tienes todo el control sobre los datos a medida que se muestran. Y créanme muchas veces que la precisión es mejor que las API oficiales.

si. Se utilizaron API oficiales para obtener algunos detalles que no cambian con tanta frecuencia, como las características del producto.

Entonces, en mi opinión, debe hacer una llamada según sus requisitos. Si solo desea tener un sitio web / aplicación de comparación de precios, puede recurrir a API / sitios web agregados. Sin embargo, si desea tener una ventaja y control, y centrarse en la precisión de los datos, elija un enfoque híbrido.

Muchas personas piensan que los sitios de comparación recorren todos los sitios web relevantes para obtener resultados. Sin embargo, la mayoría de estos sitios proporcionan resultados que muestran ofertas de compañías a las que están afiliados.

Técnicamente, los datos se almacenan en un motor de búsqueda interno y se actualizan periódicamente a través de xml, ftp, json, servicio web, por ejemplo … Los datos provienen de las empresas que figuran en la lista y son proporcionados por las mismas empresas.

La mayoría de los sitios de comparación obtienen sus datos de los comerciantes y no de la web. Solo conozco un sitio web que realmente rastrea la web para encontrar ofertas en el Reino Unido y en el extranjero. Se llama Gollgi. Funciona un poco como Google. En pocas palabras, los sitios de comparación obtienen sus datos de comerciantes o de la web mediante el uso de rastreadores. Solo unos pocos usan ambas opciones para obtener sus datos.

Gracias por el A2A. Puedo responder algunas de esas preguntas.

  1. En mi opinión, la mayor parte de los ingresos de los sitios web de comparación de precios proviene de comisiones de referencia y anuncios.
  2. El costo de aumentar un nuevo sitio web de comparación de precios depende de muchas cosas como la pila de tecnología, el proveedor, la complejidad de la arquitectura del sitio, el dinero necesario para los esfuerzos de marketing, etc.
  3. Los sitios web de comparación de precios obtienen los datos de precios a través del raspado web o API.
  4. Como tengo una experiencia limitada en cuestiones técnicas, creo que es mejor no comentar sobre esta pregunta. Si realmente quieres construir esto, puedo presentarte a mis colegas técnicos.
  5. SEO, anuncios en motores de búsqueda y campañas en redes sociales son los métodos comunes recomendables para un producto B2C. Tony Paul! Linkedin

Hola a todos
Escribo esto porque la mayoría de las personas no saben cómo los sitios de comparación de precios, los sitios de listado de productos y el sitio web de inicio de agregación y la aplicación mantienen sus precios de productos O la actualización del producto

Feeds de productos: ¿cuáles son estos feeds de productos ?
Los feeds de productos son básicamente datos de información de productos (precio, tamaño, imagen, descripción, todos relacionados con productos) en forma bien estructurada como XML o CSV o Excel o JSON

¿Cómo puede obtener estos feeds de productos?
Hay 2-3 formas de obtener estos feeds

  • Al crear una cuenta de afiliado en flipkart, snapdeal, jabong Amazon (que proporciona una cuenta de afiliado, entonces puede obtener feeds de productos)
  • Al crear una cuenta en una empresa afiliada de terceros como OMG, vCommssion, icubeswire y muchos más, le proporcionarán información sobre algunos vendedores adicionales, pero le cobrarán una pequeña comisión por la transacción y, por supuesto, le proporcionarán informes de seguimiento diarios.
  • Rastreando sitios web para una etapa posterior, esto necesita más tecnología

¿Cómo puedes usar estos feeds?
Primero debe convertir xml, json o csv a formato de Excel (puede obtener una gran cantidad de software, por supuesto, no de forma gratuita, precios aproximados de 7-8K de Rs), luego debe hacer un Excel personalizado para la categorización de su producto a partir de Excel convertido (solo vendedores proporcionar categorización de productos en función de su base de datos, por lo que debe hacerlos según los campos de su base de datos)

entonces este excel personalizado se puede cargar en su sistema diariamente para mantener los precios del producto (100% de precisión es un poco difícil)

Puede escribirme si necesita más información sobre eso: [email protected]

Soy el fundador de ShopPlu – Red de compras social personalizada donde las personas pueden comprar con sus seres queridos ShopPlu: Compras personalizadas – Aplicaciones de Android en Google Play y obtener dosis diarias de moda



Yo personalmente creo en “Los emprendedores pueden ayudar a los emprendedores”

Gracias
Gaurav Singh
IIT Delhi

Hola amigos, pensé que es muy fácil crear un sitio web de comparación de precios. pero no es mucho más fácil de lo que pensamos. Había creado un sitio web de comparación de precios, askmea2z. Todavía estoy trabajando en ello para actualizar el precio del sitio de comercio electrónico como Amazon. Hay muchas cosas que debe tener en cuenta al crear este sitio web. En primer lugar, debe tener una idea clara sobre la programación. y antes que nada necesitas tener cuentas de afiliado.

entonces necesita obtener detalles de inventario de ellos y debe usarlos solo como referencia, si colocar esa información sin hacer ninguna modificación significa que su sitio no tendrá un alto rango en el motor de búsqueda

Puedes ver mi sitio web aquí: askmea2z

Hola, ejecutamos el motor de comparación de compras (CSE): “Pricer.lt”. En “Pricer.lt” recopilamos datos mediante el uso de fuentes de datos directamente de los comerciantes, API y scraping web.

Nuestra principal prioridad es establecer buenas relaciones con los minoristas. Las tiendas electrónicas a menudo suministran los datos por sí mismos, porque aparecer en “Pricer.lt” genera más clientes y mayores ingresos. Hay algunos grandes vendedores que proporcionan datos a través de API oficiales.

Para construir un motor de comparación de precios de alto nivel, debemos centrarnos en la precisión y el control de los datos o en obtener datos faltantes. Por tales razones, utilizamos el enfoque de raspado web.

No todos los sitios web proporcionan alimentación de datos, por lo que, en tales casos, el rastreo de sitios web es la única forma.

Sé que hay empresas que solo recopilan y clasifican datos. Pero no tengo ninguna experiencia trabajando con tales compañías. Si alguien en este grupo pudiera recomendar algunos nombres de compañías que proporcionan datos de productos de alta calidad, realmente me ayudaría.

Las tiendas en línea a menudo suministran los datos ellos mismos. Porque aparecer en un sitio web como ese generará más clientes y, por lo tanto, más ingresos.

Sé que este es el caso de Google Shopping y numerosos sitios de comparación holandeses (beslist.nl, vergelijk.nl, tweakers.net/pricewatch)

El sitio web de comparación de precios obtuvo datos utilizando la API de sitios web respetuosos como Amazon, flipkart, snapdeal, etc. Esta API puede sincronizar miles de atributos de datos al mismo tiempo. Gadgets: Gadget Next es el mejor ejemplo de dichos sitios web.

La lógica puede diferir de un sitio web a otro. En Best site, para la comparación de precios de alimentos, los restaurantes rastrean los principales sitios web de entrega de alimentos en línea para obtener los detalles del menú. No todos los sitios web exponen API, por lo que el rastreo de sitios web resulta ser la única forma.

El sitio de comparación de precios tiene afiliados con diferentes sitios. Estos sitios les proporcionan la fuente de datos junto con todos los detalles relacionados con el Producto y el precio. El motor del sitio de comparación de precios actualiza el precio utilizando el trabajo Cron o en el momento de la vista, depende de la configuración del propietario del sitio.

Conozco a uno de los propietarios de la comparación de precios (Compare Price and Review – ComparePrice.Review). Él está haciendo lo mismo que he mencionado anteriormente.

Lea este blog y obtendrá una breve idea sobre las API de comparación de precios

http://cronj.com/blog/price-comp

En Kagoo.com recopilamos datos utilizando una combinación de fuentes de datos, API y nuestra propia araña web patentada. Este es un enfoque bastante común entre los sitios de comparación de precios.

Además de API y rastreo, hay empresas que solo recopilan y categorizan datos. Le proporcionan una API que puede obtener todos los datos necesarios de una vez.