Часто задаваемые вопросы про ИИ и нейропомощников

Кажется, зачем изобретать велосипед, однако этот велосипед может быть собран персонально для вас!
Перечисленные решения больше подходят для индивидуальной работы или для того, чтобы попробовать возможности базовых решений на основе LLM и влюбиться в них :).
Но как только речь заходит о корпоративной среде, где требуется интеграция с существующими системами и обеспечение безопасности, использование корпоративных данных и другие аналогичные задачи, возникают ограничения.
Далеко не все организации готовы отдавать в облако свои документы. Поэтому многим российским компаниям, особенно в корпоративном и госсекторе, ближе построение ИИ-решений в своем внутреннем контуре и их интеграция в корпоративную инфраструктуру.
Для корпоративного использования (общая база документов, распределенные роли, типовые вопросы и т.п.) необходимы безопасные корпоративные ИТ-решения, например, это может быть ПМ Форсайт, нейропомощники которого созданы на внесенной в реестр отечественного ПО платформе ПРИИСК.

На уровне компаний, мы явно видим две тенденции:

• часть компаний, ищет на рынке готовые, актуальные для себя ИИ-решения, и пробует внедрять эти решения в своих процессах;
• часть компаний, преимущественно крупных, создает внутри себя группы, цель которых сбор и проверка гипотез (кейсов) полезного применения ИИ в процессах компании, и организация разработки / доработки / внедрения оправдавших себя гипотез в виде прикладных решений.

Соответственно, на рынке появляются два типа предложений:

• готовые решения (нейропомощники), нацеленные на решения задач конкретного типа (например, транскрибация аудио-встреч и составление протоколов совещаний; чат-боты консультанты по заданной теме и пр.);
• платформы, облегчающие и повышающие эффективность разработки, внедрения и эксплуатации ИИ-решений в компаниях.

Первое предложение – это нейропомощники встроенные в ИСУП ПМ Форсайт и АСУ-Инвест от ГК Проектной ПРАКТИКИ
Второе предложение – это платформа ПРИИСК для разработки собственных нейропомощников и копилотов от ООО Адаптивные технологии развития.

Как говорится, доверяй, но проверяй!
Ответы генеративных моделей по своей природе носят «вероятностный характер». Искусственный интеллект может выдавать неполные, неточные ответы. Может ответы выдумывать (галлюцинации генеративных моделей - известный факт).
Есть специальные приемы, методы, инструменты повышения точности ответов, борьбы с галлюцинациями. Начиная от понижения температуры ответов ИИ или специальных фраз в промптах и заканчивая применением специальных агентов, которые «перефразируют вопрос» или «перепроверяют ответ».
Есть технические приемы, позволяющие контролировать правильность работы нейропомощников.
Например, мы разработали специальный нейропомощник для оценки качества работы других нейроппомощников.

Конечно, вы можете пользоваться и готовыми, и для того, чтобы пользоваться готовыми нейропомощниками вам не нужна лицензия. Все необходимое уже есть в ПМ Форсайт или, если это нейропомощник на заказ по вашим требованиям, в этом нейропомощнике.
Для разработки собственного ИИ-решения или создания «клона» работающего нейропомощника, но с другой базой знаний, вам потребуется лицензия на ИИ-платформу ПРИИСК, а также немного терпения и опыта :).
Кстати, такая опция, как обучение созданию собственных помощников на нашей платформе тоже может входить в состав работ.

Нейропомощники, которые мы разрабатываем на российской платформе ПРИИСК, могут работать с большинством известных LLM. Мы предпочитаем YandexGPT и GigaChat, т.к. они не предполагают каких-либо ограничений для использования на территории РФ.
Есть опыт использования модели разных верcий ChatGPT.
Что важно, разные LLM можно сочетать в одном нейропомощнике.
Для развертывания локально мы используем разные LLM с открытым исходным кодом (например, но не ограничиваясь, Mixtral, Llama 3).

То, что большая часть компаний отмечает критичность размещения всех компонентов ИИ-решений в контуре компании, ожидаемо. Для таких компаний путь к применению ИИ будет немного более сложен.
За рубежом большинство решений с применением генеративных моделей предлагается в облачном формате. У нас эта тенденция также явно прослеживается. Да и наиболее известными являются именно публичные (то есть имеющие удобный доступ через интернет) языковые модели: ChatGPT, YandexGPT, GigaChat.
Но в последнее время, на российском рынке появляются предложения, предусматривающие размещение ИИ решений on-premise (т.е. в контуре клиента). Более того, появляются платформы для разработки, внедрения и эксплуатации ИИ-решений в компании, имеющие вариант развертывания on-premise. Есть и перечень языковых моделей, которые можно разворачивать локально (например, модели серий Llama3, Mixtral, Qwen2). Она из таких платформ - ПРИИСК (отечественная разработка). Базу нейропомощников которой мы используем в своих ИТ-решениях для управления проектами ПМ Форсайт и АСУ-Инвест.
Важно отметить, что нейропомощники разного назначения могут быть эффективней при использовании разных языковых моделей.

Требования информационной безопасности
к месту развертывания LLM:

• если можно работать в облаке, то из российских LLM наиболее популярны YandexGPT и GigaChat,
• если можно работать в облаке и вы предпочитаете зарубежную модель, то это ChatGPT от Open AI. В данном случае есть технические и организационные трудности, но мы умеем с ними работать, в частности, используем для некоторых из них своих нейропомощников
• если допустимо только локальное размещение в контуре вашей организации, список будет другой.

Возможен сценарий, когда компания для разных задач будет применять разные LLM.
И платформа ПРИИСК как раз позволяет это сделать https://promo.pmpractice.ru/priisk

Одной из больших проблем при внедрении ИСУП (как и любых других ИС), является сопротивление пользователей.
Специфика ИИ-решений состоит в том, что на пользователя, как правило, дополнительная нагрузка не ложится. Ему наоборот, цифровой помощник в чем-то начинает помогать. Поэтому негативных отзывов от пользователей цифровых помощников будет, скорее всего, немного.
А вот само внедрение ИИ-решений требует значительного вовлечения компаний-заказчиков. К чему они часто будут не готовы. Поэтому количество «сложных» внедрений ИИ-решений будет немалым.
И да, тем компаниям, которые успешно справились с внедрением ИСУП, будет легче.

Наличие архивов с проектной, в том числе управленческой, информацией облегчает внедрение ИИ по двум причинам:

• есть информация, которую можно использовать для работы цифровых помощников;
• в компании есть процессы и культура работы со знаниями.

Но переоценивать значение наличия архивов не стоит.
Наличие больших наборов качественных данных важно для машинного обучения. В случае с генеративными моделями, процесс дообучения лингвистической модели называется Finetuning, и требует больших затрат, времени и специальных компетенций.
Скорее всего, компания начнет внедрение ИИ с применения RAG-технологии дообучения цифровых помощников (об этом можно почитать отдельно). А это требует скорее не количества информации, а качества, и главное - понимания, какие задачи мы хотим решать с помощью этой информации.
То есть наличие архива - это безусловный плюс во внедрении ИИ, но отсутствие или неполнота архива - не повод отказываться от такого внедрения.
С одной стороны, переработка, переформатирование знаний для эффективного применения в ИИ, являются дополнительными работами. С другой стороны, с применением ИИ появляются возможности сделать знания реальными активами компании, позволить им работать на компанию на всех уровнях и обеспечивать конкурентные преимущества.

Например, для создания базы знаний ИИ-Методолога сначала наши консультанты оценивают документацию Заказчика с точки зрения корректности принципов проектного управления. Далее (по желанию и в случае, если документы несовершенны) наш методолог поможет их доработать, и потом на их основе будет делаться база знаний.
А если документы достаточны для реализации выбранных сценариев использования, то сразу подключается ИИ-аналитик и формирует первоначальную базу знаний для загрузки.

Приемка нейропомощника, как правило, включает:

• проверку функциональной составляющей;
• проверку качества ответов по методике оценки качества.

В рамках опытной эксплуатации:

• пользователи пробуют взаимодействовать с нейропомощником, а мы собираем их реакцию через лайки \ дизлайки, вопросы и другие формы обратной связи;
• если в рамках проекта предусмотрена работа функционального администратора по актуализации нейропомощника, проверяется выполнение таким специалистом своей роли;
• возможна проверка действий техслужбы по инфраструктуре ИИ (особенно при локальном развертывании), но это зависит от состава работ в рамках проекта.

Желательно чтобы даже пользователи нейропомощников понимали специфику работы с ними. Как минимум, они должны понимать, что от полноты и точности формулировки вопроса зависит качество ответа :).

Функциональный администратор нейропомощника должен уметь работать в панели администратора.
Его опыт будет нарабатываться постепенно. На продвинутом уровне функциональный администратор должен понимать специфику работы нейропомощников с базой знаний, а также немного понимать в промптинге.
Требуется желание специалиста развиваться в данной отрасли.
Техспециалисты по «железу» при локальном развертывании должны уметь работать с этим «железом».

Мы уверены, что интерфейс нейпропомощников для конечных пользователей не потребует обучения. Работать с ними не сложнее, чем пользоваться социальными сетями или поисковой строкой браузера.
Но вот умение правильно задавать вопросы, чтобы получать четкие и развернутые ответы, возможно, придется потренировать.
Для администраторов и специалистов техподдержки . В нем минимальное количество кнопок, все элементы четко подписаны и подробно объяснены. В руководство пользователя будет добавлена кнопка для вызова НП.
Кроме того, имеется руководство для функциональных администраторов.

Стоимость использования для публичных моделей.
Все (почти) LLM имеют разные версии в зависимости от количества параметров. Сейчас как правило используются версии от 8B до 1000B (1B это 1 млрд. параметров).
Чем больше параметров в LLM, тем дороже ее использование. Часто владельцы LLM предоставляют бесплатный WEB доступ своим LLM (с какими-то ограничениями). Но нейропомощники работают с доступом к LLM по API. А это почти всегда платно.

Стоимость использования локальных моделей.
Если вы развернули LLM у себя, то платить за ее использование не надо.
Но надо заплатить за «железо» для ее работы. И тут, чем «тяжелее» LLM, тем дороже железо для нее (в первую очередь видеокарты). Для решения ряда задач, не требуется выдающихся возможностей LLM. Например, с распознаванием речи, если скорость не играет критического значения, легко справляется модель 8В.
Бывают специализированные модели, например, для генерации картинок и др. Есть модели переобученные для разных специализаций (например, для программирования).
Есть модели лучше или хуже работающие с русским языком. Чтобы выбрать модель надо понимать задачи, которые вы хотите решать с помощью ИИ.

Здесь можно говорить о вилке от 500 000 до 3 500 000 руб. в зависимости от выбранной модели видеокарт и требуемого быстродействия.
Стоимость оборудования, конечно, может быть и больше. Например, если планируется большой поток одновременных запросов к ИИ, при жестких требованиях ко времени ответа и т.д.
Для нейропомощников для задач по управлению проектами, приведенная выше оценка стоимости оборудования, сейчас видится достаточной.

Быстро и дешево разработать качественных корпоративных нейропомощников не получится. Попробуем объяснить почему.
Сейчас люди переносят личный пользовательский опыт общения с ИИ на решение с помощью ИИ задач компании. Все должно быть быстро и дешево, но так в большинстве случаев не будет. Вспомните только про требования к информационной безопасности или необходимость учета корпоративной специфики (дообучения).
Будет дороже. И надо научиться говорить (считать) выгоды и соотносить затраты.
Один банальный пример. Рассмотрим нейропомощника,
помогающего сотруднику быстрее входить в компанию, в проектную роль, в проект,
позволяющего ему быстрее находить актуальную информацию и, соответственно, делать меньше ошибок;
позволяющего почти без затрат атуализировать, менять, дополнять информацию, которая используется для работы. 
Думаю, выгода от такого нейропомощника, при количестве пользователей от 20-30 человек, очевидна.
 Думаю, многие компании были бы готовы затратить на создание такого нейропомощника 3-4 оклада специалиста (с учетом накладных). Что превышает 1 млн. рублей.
Затраты надо считать и оптимизировать.
Для примера, мы в компании, создав один нейропомощник и набив на нем шишек (заработав опыт), показали его всем сотрудникам компании. И получили внутренний заказ на три аналогичных нейропомощника, немного адаптированных под специфику других задач. Если на первое решение мы потратили Х часов, то по результату, за суммарные 2Х часов мы получили 4 решения, которые с успехом применяются в компании.