Як Google бачить, індексує та ранжує зображення: висновки Olivier de Segonzac

Olivier de Segonzac з Resoneo описав, як Google розпізнає візуальні характеристики товарів, враховує взаємодію користувачів із картинками та визначає першоджерело зображення.

Основні тези дослідження Olivier de Segonzac про те, як Google працює із зображеннями, переказує автор Telegram-каналу Devaka Talk. Оригінальний матеріал опубліковано в блозі Resoneo.

За описом, Google використовує «візуальний» Knowledge Graph. Окрім сутностей, є другий набір ідентифікаторів: `/j/` позначає атрибути, наприклад стиль рукава, а `/a/` конкретні значення. Вони безпосередньо пов'язані з фільтрами Google Shopping і утворюють окрему базу візуальних характеристик товарів.

Алгоритми Vision API розрізняють об'єкт і тло. Навіть якщо в кадрі є люди, Google розуміє, що вони є частиною фону, а не головним об'єктом.

Інші тези з огляду:

  • NavBoost для зображень: Google враховує взаємодію користувачів із картинками, зокрема кліки та наведення курсору. Існує й «click magnet» скоринг для зображень, що збирають кліки з нерелевантних за темою запитів.
  • Першоджерело: Google фіксує дату першого сканування зображення. Унікальне фото краще спершу розмістити на власному сайті, а вже потім на зовнішніх майданчиках із синдикацією, щоб зберегти статус автора.
  • Google Maps: тег «Популярні» для страв залежить не лише від відгуків, а й від кількості та частоти фотографій цих страв. Якісні фото працюють на ранжування навіть без текстових оглядів.
  • Детекція ШІ-зображень: поєднання водяних знаків SynthID, пошуку за відбитками у власних моделях, метаданих C2PA та IPTC і спеціальних міток. Якщо чітких доказів немає, система не робить однозначних висновків.