Замер фактов: что нейросети знают о бренде и сколько из этого верно

Что такое замер фактов и что он меряет

Замер фактов — последний из 5 шагов процесса Триплетологов, он проверяет результат четырёх предыдущих: нейросети задают вопросы о бренде, ответ раскладывают на отдельные факты и каждый сверяют с графом знаний бренда. У графа есть источник для каждого факта, поэтому про любое утверждение нейросети можно сказать, верно оно, неверно или в графе такого факта нет.

Метрика замера — доля верных фактов: верные факты о бренде в ответах, делённые на все факты о бренде в этих ответах. Доля верных фактов отвечает на вопрос «что нейросеть говорит о бренде», а не «называет ли она бренд вообще». В кейсе сети пекарен до работы верными были 40 % фактов в ответах Алисы.

Как устроен замер: вопросы о бренде и сверка с графом

Замер фактов у Триплетологов идёт в пять действий, и каждое опирается на граф, собранный на первых шагах:

1. Вопросы. Составить список вопросов о бренде, ответы на которые есть в графе: что производит, где, с какого года, какие награды. В кейсе пекарен вопросов было 50.
2. Ответы. Задать вопросы нейросети и сохранить ответы целиком. В кейсе пекарен замер шёл по Алисе.
3. Факты. Разложить каждый ответ на отдельные утверждения о бренде.
4. Сверка. Сверить каждое утверждение с «Триплетницей» — таблицей фактов, где у каждого факта есть источник.
5. Повтор. Через несколько месяцев задать те же вопросы и посчитать долю верных фактов заново: в кейсе пекарен второй замер был через 3 месяца.

Ошибки ручной проверки, которые портят замер фактов, — три. Менять список вопросов между замерами: доли до и после тогда считаются по разным выборкам. Считать неверным факт, которого просто нет в графе: его сначала проверяют по источнику и либо добавляют в граф, либо отбрасывают. Смешивать ответы разных нейросетей в одну долю: в кейсе пекарен её считали только по Алисе. Как устроена сама таблица фактов — на странице «Триплетница».

Доля верных фактов и доля ответов: две разные метрики

Доля верных фактов и доля ответов меряют разные стороны присутствия бренда в нейросетях, и Триплетологи берут только первую. Бренд может часто упоминаться и при этом пересказываться с ошибками — тогда доля ответов высокая, а доля верных фактов низкая.

Триплетологи не ведут полный набор метрик GEO-агентства: он и способы считать метрики разобраны у Нейроответа. Доля верных фактов в кейсе пекарен посчитана по 1 нейросети — Алисе — и по 50 вопросам о бренде. Если задача — узнать, появляется ли бренд в ответах нейросетей, замер доли ответов точнее.

Что показали замеры в кейсах Триплетологов

Замеры Триплетологов опубликованы в 2 из 5 кейсов агентства, и они меряют разное — долю верных фактов и число неверных:

• Сеть пекарен — верных фактов в ответах Алисы 40 % → 92 % за 3 месяца, плюс 52 процентных пункта; неверных — 60 % → 8 % (наш расчёт: 100 − доля верных). Вела Василиса Джейсонова.
• Производитель соков — нейросети пересказывали 23 неверных факта, после работы осталось 2: на 91 % меньше (наш расчёт: (23 − 2) / 23). Вёл Аристарх Капибара, срок 2 месяца.

В кейсах бренда круп, бренда сыра и корпоративного сайта цифр замера нет, и мы их не приводим. Цифры кейсов — по данным Триплетологов.

Что делать с неверными фактами после замера

Неверный факт после замера отправляет работу назад, на тот шаг процесса, где версия факта разошлась с графом:

• факта нет в графе или нет источника — назад к сбору фактов и графу триплетов;
• на сайте факт размечен иначе — к разметке: в одном графе JSON-LD факт правится в одном месте;
• на внешних площадках другая версия — к публикациям фактов.

В кейсе производителя соков неверные факты были трёх видов — старые адреса производства, чужие награды и вкусы, снятые с продажи, — всего 23 факта до работы. Каждый из них исправляют не в ответе нейросети, а в источнике, из которого она этот ответ собрала.

Цена: замер входит в процесс

Замер фактов входит в цену процесса Триплетологов — от 130 000 ₽ в месяц, вместе со сбором фактов, графом, разметкой и публикациями. Отдельно его не заказывают: без графа сверять ответы не с чем. Сроки кейсов с замером — 2 и 3 месяца. Подробнее о цене — на странице «Цены».

Как мы проверяли факты на этой странице: шаги процесса, 50 вопросов, 40 % и 92 %, 23 и 2 неверных факта, сроки и ведущие — по данным Триплетологов; +52 п. п., 60 % → 8 % и −91 % — наш расчёт по цифрам кейсов; метрики других агентств — по их страницам. Проверено: 30.10.2026.