Основні тези дослідження Olivier de Segonzac про те, як Google працює із зображеннями, переказує автор Telegram-каналу Devaka Talk. Оригінальний матеріал опубліковано в блозі Resoneo.
За описом, Google використовує «візуальний» Knowledge Graph. Окрім сутностей, є другий набір ідентифікаторів: `/j/` позначає атрибути, наприклад стиль рукава, а `/a/` конкретні значення. Вони безпосередньо пов'язані з фільтрами Google Shopping і утворюють окрему базу візуальних характеристик товарів.
Алгоритми Vision API розрізняють об'єкт і тло. Навіть якщо в кадрі є люди, Google розуміє, що вони є частиною фону, а не головним об'єктом.
Інші тези з огляду:
- NavBoost для зображень: Google враховує взаємодію користувачів із картинками, зокрема кліки та наведення курсору. Існує й «click magnet» скоринг для зображень, що збирають кліки з нерелевантних за темою запитів.
- Першоджерело: Google фіксує дату першого сканування зображення. Унікальне фото краще спершу розмістити на власному сайті, а вже потім на зовнішніх майданчиках із синдикацією, щоб зберегти статус автора.
- Google Maps: тег «Популярні» для страв залежить не лише від відгуків, а й від кількості та частоти фотографій цих страв. Якісні фото працюють на ранжування навіть без текстових оглядів.
- Детекція ШІ-зображень: поєднання водяних знаків SynthID, пошуку за відбитками у власних моделях, метаданих C2PA та IPTC і спеціальних міток. Якщо чітких доказів немає, система не робить однозначних висновків.
