Да, если комитет относится к нему как к одному проверяемому входному данному, а не как к готовому заключению. Проверяйте то же, что в любом мнении о стоимости: аналоги с источниками, раскрытый уровень уверенности с указанной причиной и что происходит, когда цифра неверна. Это мнение о стоимости, а не оценка (appraisal), и оно никогда не должно стоять отдельно.
Вопрос под вопросом
«Хорош ли ИИ?» — не тот вопрос, который на самом деле задаёт комитет. О брокерской оценке стоимости комитет спрашивает одно и то же независимо от того, кто или что её подготовил: откуда взята каждая цифра, насколько уверен исполнитель и почему, и что будет, если часть её окажется неверной. ИИ-заключение о стоимости проходит или не проходит эту проверку по тем же основаниям, что и подготовленное человеком. Интересно не то, может ли модель выдать правдоподобное число (большинство может), а то, выдерживает ли процесс за ним тот же допрос, который комитет уже устраивает каждому заключению о стоимости, попадающему на стол.
Что обычно проверяет внимательный комитет, прежде чем полагаться на любой результат
Это относится к мнению о стоимости от любого составителя, включая нас, и описывает практику, а не политику конкретного кредитора или регулятора.
- Откуда взят каждый аналог. Запись об объекте, данные о сделках или внутренняя база и указан ли размер выборки, стоящей за выводом, рядом с цифрой, а не спрятан. Один аналог, выдаваемый за вывод о рынке, — частая ошибка, создан ли он ИИ или нет.
- Показатель уверенности или риска с заявленной причиной, а не просто оценка. Число само по себе («85/100») ничего не говорит комитету о том, чего в нём не хватает. Что-то говорит комитету подготовитель, который называет, что слабо (неразрешённый вопрос зонирования, малая выборка сделок, отсутствующие данные о заполняемости) и что должно произойти, чтобы число сдвинулось.
- Какие входные значения наблюдаются, а какие предполагаются. Аренда, расходы, темпы роста и ставки капитализации часто оказываются допущениями, выданными за факты в гладком повествовании. Комитет обычно хочет видеть эти две категории разделёнными, а не слитыми в одно аккуратное число.
- Запись об исправлении. Ловил ли этот исполнитель когда-нибудь собственную ошибку и раскрывал ли её, и что изменилось после этого? Студия, которая никогда не раскрывала ошибок, не обязательно никогда их не делала; возможно, она просто не показывает свою работу.
- Дата актуальности, по лежащим в основе рыночным данным и по самому прогону. Мнение о стоимости стареет; комитет проверяет возраст исходных данных, прежде чем опираться на вывод.
- Воспроизводимость. Может ли комитет открыть расчёт, лежащий в основе (рабочую книгу с видимыми формулами), или только оформленный текст либо скан, который никто не может проверить?
- Как это вправе назвать тот, кто готовил документ. Мнение о стоимости, подготовленное без лицензии оценщика, — не оценка. Комитету полезно с самого начала знать, какой из двух документов у него в руках.
Как наша собственная практика отвечает на этот контрольный список
Мы не просим комитет верить нам на слово по списку выше; лучший способ показать это — реальный результат, а не его описание. В одной внутренней модели инвестиционного анализа (рабочая книга по многоквартирному объекту в Тампе) каждая исходная ячейка была отнесена к одному из трёх классов, и на вкладке классификации ничего другого не допускалось: найдено из записи об объекте, предполагаемая, или вычислено от двух других. Эта классификация позволила проверяющим рабочей книги отделять то, что модель наблюдала, от того, что ей пришлось угадывать, строка за строкой, а не доверять сводному абзацу.
Эта же рабочая книга — и самый наглядный реальный пример практики исправления. Ранний черновик по умолчанию брал в качестве цены покупки оценочную стоимость объекта — цифру, которая существует для расчёта налога на недвижимость, а не число, которое кто-либо заплатил бы за здание. Поскольку доходная часть модели и ценовая часть теперь строились на двух разных основаниях, связывавшая их арифметика сообщила разрыв между этими базами как за инвестиционную доходность: рычажная доходность далеко за пределами защищаемого диапазона для актива, при данных, которые на первый взгляд выглядели как хорошая сделка.
Ошибку поймал независимый пересчёт, а не читатель, заметивший, что число слишком хорошее. Исправление состояло из трёх частей, и все три видны в самом файле, а не описаны в сопроводительной записке: цена была пересчитана от собственного дохода объекта по заданной ставке капитализации на входе, сравнение по оценочной стоимости, которое повторило бы то же несоответствие баз на стороне выхода, было удалено, а в рабочую книгу добавлены четыре автоматические проверки (по доходности, по ставке капитализации на выходе относительно входа, по покрытию обслуживания долга и по доле операционных расходов), каждая из которых сработала бы уже на самом первом черновике. Смысл встроить проверки в файл, а не в память, которая должна быть у будущего аналитика, в том, что та же ошибка теперь вызывает видимый флаг при следующем прогоне, а не зависит от того, вспомнит ли кто-то о прошлом разе.
Вот что на практике означает «раскрытие уверенности и практика исправления»: помечать наблюдаемое и допущенное, встраивать проверки здравого смысла в результат, чтобы неверное число само себя выдавало, а при обнаружении ошибки показывать исправление, а не тихо заменять число.
Честное ограничение: чего комитету не стоит делать только на основе нашего результата
Мнение о стоимости, которое мы готовим, не заменяет оценку, а то, требует ли конкретное решение лицензированной оценки, определяет комитет по своей политике, и эта страница этого не решит. Кроме того:
- Не полагайтесь на общий показатель уверенности, не прочитав, к чему он привязан; стоит проверять причину за числом, а не само число.
- Не принимайте один ран за доказательство, что процесс не ошибается. Пример рабочей книги выше чего-то стоит именно потому, что в нём видна ошибка, а не потому, что процесс никогда её не допускает.
- Если сопоставимых продаж лишь несколько, точечная оценка должна расшириться до диапазона, а не сохранять ложную точность; спросите, сделал ли это выданный вам результат или всё равно тихо оставил одно число.
- Не считайте, что результат уже отражает документы, специфичные для вашей сделки: реестр арендаторов или график истечения аренды нельзя построить из записей об объекте; если вы не предоставили собственные операционные данные, мнение о стоимости основано на том, что показывает запись об объекте, и на заявленных допущениях, а не на реальных книгах вашего объекта.
- Не распространяйте дисциплину одного результата на общее утверждение о точности по всем типам объектов или рынкам. Рабочая книга, проверенная построчно для одного актива в Тампе, говорит о том, как построена эта книга; это не утверждение о каждом результате, который когда-либо выдаст этот процесс.