Большинство заявлений о том, как быстро ИИ оценивает недвижимость, приходят без цифр. Это разбор одного рана в нашей собственной системе с приложенными подсчётами из журнала, чтобы стоимость ответа с источниками можно было прочитать, а не принять на веру.
Ран — запуск 25007, выполнен 14 сентября 2026 года на нашем собственном внутреннем аккаунте. Ничто в нём не принадлежит клиенту, поэтому здесь нет адресов, активов и названий третьих лиц, и для публикации ничьё разрешение не требовалось.
Что было запрошено
Комната называлась так, как её назвал пользователь: Быстрый BOV в масштабе, с подзаголовком Цена по каждому адресу со значениями, подкреплёнными источниками. Иначе говоря: поставьте цифру на каждый адрес и покажите, откуда взята каждая цифра.
Что система предсказала до начала
Перед началом прогона наша собственная предварительная оценка сообщила пользователю, чего ожидать: 45 мин.
Что на самом деле произошло
- Время от запуска до готового результата: 69 мин (с 18:41:58 до 19:51:21).
- Строки, записанные в рабочий журнал: 513.
- Из них вызовов моделей: 276.
- Итоговое состояние: готово.
Две вещи здесь стоит сказать вслух, а не сглаживать.
Оценка времени оказалась занижена в полтора раза: предсказано 45 минут, затрачено 69. Предварительная оценка того, сколько ресурсов потребует прогон, ошиблась в другую сторону и сильнее: она завысила реально использованные прогоном ресурсы примерно в четыре раза. Оба промаха наши, и назвать их полезнее, чем усреднить их.
Насколько типичен этот прогон
Это не был рекорд. По завершённым ранам на продукте с десятью и более зарегистрированными действиями:
- 4,620 таких запусков завершено.
- Медианная длительность: 26.0 мин.
- 90-й процентиль: 55.1 мин.
- Прогоны, завершившиеся менее чем за две минуты: 14, или 0.3%.
Есть второе число, которое объясняет немало вольных разговоров на этом рынке, включая наши собственные. Из 20,982 запуски с любым зафиксированным действием вообще, 14 560 состоят ровно из одного действия. Это короткие вопросы, а не отчёты, и именно они тянут медиану по всем прогонам вниз, до менее минуты. Поэтому когда кто-то говорит, что такая работа «занимает около двух минут» (мы и сами писали такую фразу), эта цифра — медиана коротких вопросов, выданная за время подготовки отчёта. Это не одно и то же.
Одно замечание о методе, поскольку оно определяет смысл цифры скорости: когда приводится длительность, выборка, по которой она взята, — часть утверждения.
Что это значит, если вы у нас ничего не покупаете
Когда поставщик предлагает мгновенную оценку портфеля «с источником под каждым числом», есть один вопрос, который отделяет заявление от работы: сколько шагов делает система и сколько из них — обращения к источнику?
Пятьсот тринадцать зафиксированных шагов, из которых двести семьдесят шесть доходят до модели, за шестьдесят девять минут. Вот во что обошлась цифра с источниками в этом прогоне. Цифра, пришедшая за две минуты, либо не ходила к источникам, либо сходила ровно к одному.
Этот тест применим к любому инструменту такого рода. Он применим и к нашему.
Чего этот разбор не утверждает
Он не утверждает, что 69 минут — это хорошо. Наша собственная предварительная оценка была 45, и ошибка в полтора раза — дефект либо оценки, либо рана, либо обоих. Мы не установили, чего именно.
Он не утверждает, что результат рана был верным. Это замер затрат в шагах и минутах, а не аудит мнения о стоимости, которое подготовил ран.
Он не утверждает, что один ран что-либо решает про второй. Это один замеренный случай, опубликованный с цифрами, как нижняя планка стоимости такой работы, а не как обещание для вашего случая.
Как проверить эти цифры
Все приведённые выше цифры взяты из двух таблиц нашей рабочей базы данных. Показатели уровня прогона (сроки, оценка, состояние) берутся из conversations_room_runs, идентификатор строки 25007. Число шагов взято из conversations_room_run_action_costs, в котором для этого прогона 513 строк. Показатели распределения охватывают все прогоны в штате done с десятью и более строками затрат; цифра по одному действию охватывает каждый запуск как минимум с одной строкой затрат.
Ран был нашим собственным, на нашем аккаунте. Именно поэтому его вообще можно было опубликовать с такой детализацией.