О чём спросить поставщиков инструментов для корпоративного обучения на основе ИИ

На зарубежном рынке инструментов для корпоративного обучения уже появляются технологические решения с искусственным интеллектом: от чат-ботов с функциями тренеров до платформ с персонализированными треками обучения. Не за горами время, когда такие предложения станут нормой во всём мире и появятся на российском рынке тоже. Или как минимум появятся те, кто будет делать своим продуктам рекламу на том, что они основаны на технологиях ИИ. Как выбирать действительно стоящие продукты, если вы не слишком разбираетесь в технологиях? Зарубежные эксперты уже начали составлять списки вопросов, которые заказчикам стоит задать поставщикам перед покупкой.

Какие вопросы стоит задать провайдерам решений с ИИ

Главный евангелист компании Obrizum Маркус Бернхард и генеральный директор компании Two Three Solutions Пейдж Чен в своей статье для Learning Guild приводят пять универсальных вопросов для поставщиков и советы о том, на что ориентироваться в ответах. Коротко пересказываем суть.

Первый вопрос касается типа используемого искусственного интеллекта. Их два:

• Генеративный ИИ. Он позволяет создавать новый контент: например, с его помощью разрабатывают курсы и сценарии для тренингов, готовят учебные материалы (вроде инфографики, списков). Он же может служить как условный собеседник в чат-ботах.
• Предиктивный ИИ. Предназначен для обработки и анализа данных, а используется, соответственно, в адаптивных учебных системах, управлении контентом, выдаче персональных рекомендаций пользователям или, например, оценке.

Этот вопрос важен для понимания того, какие детали потребуется выяснить в дальнейшем.

Вопрос о том, как и на чём учили нейросеть, позволяет оценить потенциальное качество результата её работы. В случае с генеративным ИИ важно, чтобы его обучали на достоверной, проверенной и актуальной информации.

Кроме того, ИИ может понадобиться дополнительное обучение — о конкретной компании, её продуктах и услугах. В этом случае необходимо выяснить, какие данные и в каком объёме потребуются для получения оптимального результата, а ещё — как именно эти данные «загружать».

Для предиктивного ИИ нужно выяснить, каков оптимальный объём информации необходим для эффективной работы и есть ли он у вас. Для предиктивной аналитики нужны внушительные массивы данных, а если у вас их мало, то вводить модели на основе предиктивного ИИ просто-напросто рано.

У любой системы есть сильные и слабые стороны. Так, модель GPT неплохо справляется с экзаменами по биологии, но получает куда худшие результаты по физике и химии в силу особенностей и своих алгоритмов, и самой сути таких проверок. Конечно, это упрощённый пример, но он хорошо демонстрирует, почему важно говорить с поставщиками об особенностях и ограничениях работы нейросетей.

Авторы статьи предупреждают: если ИИ продают как способную решить буквально любую проблему компании, то это «красный флажок» — в жизни так не бывает.

Поинтересуйтесь, где будут храниться данные, необходимые ИИ для обучения или работы. Маркус Бернхард и Чен Пейдж объясняют, что есть два варианта:

• Глобальный. Примером глобального экземпляра является ChatGPT: пока вы взаимодействуете с нейросетью, она учится на вашем с ней взаимодействии тоже, и информация, которую вы в неё загружаете, может храниться и использоваться в качестве выходных данных для других пользователей. Поэтому в подобные системы лучше не загружать конфиденциальную или личную информацию.
• Локальный. Разработчик, по сути, создаёт отдельную «версию» ИИ для каждого клиента без подключения к какой-либо «централизованной» системе. Это означает, что поставщик будет развёртывать отдельные экземпляры своего ИИ для каждого клиента без дублирования или подключения к какой-либо «централизованной» системе ИИ и передачи туда данных.

«Поставщик может также предоставлять собственный контент для использования всеми клиентами. Как именно он будет интегрирован? И где он хранится? Это естественные последующие вопросы в этой цепочке», — добавляют авторы статьи.

Финальный вопрос заключается в том, кто именно будет управлять ИИ и взаимодействовать с данными. Например, если нейросети требуется дополнительное обучение или же в самой компании произошли изменения, то кто и как именно будет решать эту задачу? Как часто происходят обновления, сколько времени они занимают? Что именно можно делать внутри компании, а что будет задачей техподдержки поставщика?

• Часто у ведущих поставщиков уже есть чёткая терминология и профили пользователей, например: учащийся, пользователь, администратор, суперадминистратор и так далее. Крайне важно поинтересоваться этим, чтобы лучше понять, как будет выглядеть использование технологии для каждого профиля, как будет организовано распределение ролей и обязанностей, когда система уже запущена и потребует настройки», — комментируют эксперты.

«Вполне возможно, что первый человек, с которым вы поговорите, не знает всех ответов, и это понятно. Стоит найти подходящую команду или людей, с которыми можно вести подробную беседу, чтобы вы могли уверенно выбрать технологию на базе искусственного интеллекта, которая лучше всего соответствует вашим потребностям», — резюмируют авторы статьи.

Как выбрать платформу с ИИ

Если предыдущие вопросы были скорее о сути технологий и основах работы с ними, то не меньше вопросов появится непосредственно при выборе конкретного решения. Главный специалист по стратегии обучения в консалтинговой компании Paradox Learning Стелла Ли составила большой чек-лист, который поможет понять — нужен ли тот или иной продукт и стоит ли останавливать свой выбор на нём. Свои вопросы она разделила на пять основных сфер.

Актуальность

Первый блок — актуальность решения — позволяет понять, насколько выбранный инструмент соответствует целям и задачам компании. Соответствует ли потенциальное приобретение образовательным целям и задачам конкретной компании? Помогает ли сократить пробелы в навыках и знаниях? Кроме того, важно задать вопросы об аналитике — может ли нейросеть давать обратную связь в режиме реального времени? А давать пользователям подсказки по обучению?

Эксперт особенно выделяет вопрос о том, имеется ли за конкретным ИИ-решением доказательная база. «Хотя пока рано для доказательств эффективности искусственного интеллекта в долгосрочной перспективе, попросите поставщика предоставить вам практические примеры, руководства, исследования или примеры использования продукта другими клиентами, которые вы можете оценить», — рекомендует Стелла Ли.

Выбранные решения должны не только отвечать учебным целям, но и быть удобными в использовании. Насколько интерфейс с ИИ понятен и удобен в применении? Понадобится ли сотрудникам проходить дополнительное обучение, предлагает ли провайдер такую услугу и в каких форматах?

Конечно, вопросы удобства касаются не только UX-дизайна, но и процесса работы. Например, генеративный ИИ часто склонен к так называемым галлюцинациям — то есть выдаче придуманной им информации, если не хватает реальной. Поэтому важно выяснить, каков будет процент этих галлюцинаций, насколько достоверны результаты в целом и сколько времени у нейросети уходит на ответ.

На будущее Стелла Ли предлагает задаться вопросами о том, можно ли будет увеличить объёмы учебного контента, через какое-то время обучить нейросеть с помощью новых данных и настроить новый инструмент под нужды разных групп — например, новичков, удалённых работников или команд с разным уровнем опыта.

В эту группу вопросов входит всё, что касается безопасности и технической поддержки. Например, какие меры предпринимает провайдер для защиты от киберугроз и как именно будут храниться данные? Как именно будет организована техподдержка и как быстро вы сможете получить помощь?

Стоит поинтересоваться, придерживается ли компания-разработчик принципов защиты данных, открытости, справедливости и готова ли нести ответственность за свой продукт? Как это отражается на её политике в отношении клиентов?

Эксперт считает, что нелишним будет поинтересоваться, точно ли нейросеть учат на недискриминационном контенте, который в дальнейшем может помешать процессу обучения. Связан этот вопрос с тем, что когда алгоритм получает данные, то в отличие от человека он не оценивает их, поэтому велик риск оскорбить кого-то просто потому, что кто-то не учёл качество информации. Ещё один важный вопрос — учитывается ли опыт сотрудников и их обратная связь в усовершенствовании ИИ.

Анна Судейская 

Возврат к списку