Олег Сковородников
CEO DT Consulting
CEO DT Consulting
Корпоративный ИИ без посредников: как развернуть LLM прямо в офисе
Мощные языковые модели на основе искусственного интеллекта можно развернуть прямо в офисе. Корпоративный «супермозг» — не просто модный гаджет, а инструмент, который пишет письма, анализирует данные и даже генерирует код. Но вместе с новыми возможностями появляются и новые риски: утечки конфиденциальной информации, юридические нюансы и вопросы безопасности. Как запустить автономную LLM, избежать неприятных сюрпризов и при этом улучшить бизнес-процессы — в статье, написанной для «Сноба».
Павел Подкорытов
CEO Napoleon IT
CEO Napoleon IT
Иллюстрация: Hiroshi Watanabe / DigitalVision / предоставлено Getty Images
Новый год начался с обвала котировок акций американских технологических компаний и поставщиков видеокарт для их мощных серверов. Причина очевидна — китайский DeepSeek, который продемонстрировал свою LLM (большую языковую модель), способную на очень достойном уровне создавать весьма содержательные тексты. Появление еще одной LLM — совсем не новость. Новость в том, что китайские разработчики создали свой проект за более чем скромный бюджет в 6 млн долларов (по данным самих создателей) и на гораздо меньших вычислительных мощностях. DeepSeek присоединился к другим разработчикам LLM и выложил свое решение в открытый доступ. В итоге прекрасный план OpenAI — привлекать с рынка миллиарды долларов, делать сверхумный искусственный интеллект на самых мощных в мире серверах и продавать его в розницу — мгновенно перестал быть привлекательным.
Эти события создали интересные возможности для массового применения LLM в бизнесе. Ключевыми являются три фактора:— сформировался тренд на open source LLM, и теперь большинство разработчиков выкладывают свои языковые модели в открытый доступ;— модели можно скачать и установить на одном сервере с большим или меньшим количеством видеокарт. Этот сервер может быть в офисе или на корпоративном облаке;— появилась возможность абсолютно автономно обучать модель на основе данных базы знаний, благодаря чему корпоративная LLM будет хорошо ориентироваться в необходимой предметной области.
Ранее, чтобы обучить ChatGPT особенностям бизнес-процессов, компании нужно было отправить корпоративную базу знаний в OpenAI, подождать, пока ее проиндексируют, и далее создавать с помощью ChatGPT нужные смыслы в конкретной предметной области. Конечно, такое цифровое будущее очень нравилось OpenAI, но совсем не нравилось владельцам контента. Сегодня все ровно наоборот: теперь достаточно бесплатно скачать LLM на свой корпоративный сервер, дообучить самостоятельно и далее использовать в периметре информационной системы компании на радость службе безопасности.
Взаимодействие с открытым кодом нейросети позволяет напрямую отправлять запросы и получать результаты от модели без необходимости глубокой интеграции в систему. API предоставляет интерфейс, через который можно отправлять данные (например, текст, изображения) и получать ответы от нейросети (например, генерацию текста, кода, классификацию изображений). Этот способ позволяет интегрировать нейросети в различные приложения, сервисы и процессы без необходимости разработки и развертывания сложных моделей. Тема дообученных автономных корпоративных LLM становится все более популярной. Уже реализованы первые практики и стали яснее перспективы применения этой технологии в реальном российском бизнесе. Но есть некоторые факторы, влияющие на эффективность внедрения корпоративных LLM.
Выбор базовой модели
При выборе базовой языковой модели (LLM) и ее версии для решения конкретной задачи компании важно учитывать несколько факторов:
После определения бюджета и задач LLM-проекта рекомендуется создать собственный «бенчмарк» — набор тестов, специально разработанных под задачи компании. Это позволит быстро и объективно оценивать, насколько хорошо различные модели справляются с поставленной задачей, и сравнить их между собой. Для тестирования можно выбрать несколько популярных моделей, используя специальные платформы. Важно — не полагаться только на общие оценки производительности моделей на абстрактных задачах, а провести практические тесты на реальных примерах. Некоторые специалисты советуют лично проверить ответы моделей на конкретных запросах, чтобы получить более точное представление об их возможностях.
Для компаний в РФ рабочим языком, скорее всего, будет русский. В этом случае очень важным параметром становится адаптация моделей к русскому языку. Тут может пригодиться площадка LLM Arena с ее списком лидеров для выбора и тестирования под конкретную задачу. Если же планируется работа на английском или других иностранных языках либо основной фокус направлен на обработку абстрактных данных, чисел и анализ различных форматов информации, рекомендуется обратить внимание на широкий спектр моделей по типу Llama, DeepSeek или Qwen.
Юридические сложности
Так уж получилось, что наиболее мощные LLM созданы в недружественных странах, иногда и компаниями, которые являются запрещенными в РФ. В нашем случае LLM не покупаются, а используются бесплатно на основе лицензии. Это несколько другая ситуация, но все равно применять в качестве базовой такую LLM необходимо, внимательно изучив российское законодательство, особенно если речь идет про госкомпанию.
Очень вовремя выложили для скачивания свои проекты наши китайские партнеры. Продукты DeepSeek и Qwen от Alibaba доступны для коммерческого использования. Хорошая возможность бесплатно получить мощный инструмент, в памяти которого — все доступные в интернете тексты на большинстве языков мира. К этой базе знаний добавлен тот самый искусственный интеллект, который умеет понимать запрос и выдавать ответ на очень хорошем уровне. Российские компании тоже не сидели в стороне и создали за достаточно короткий срок несколько собственных LLM. Первыми были «Сбер» и «Яндекс», затем к ним присоединились «Т-Банк» и МТС. Некоторые версии этих LLM доступны для скачивания и коммерческого использования. Но российские модели пока отстают от американских и китайских по качеству ответов, даже на русском языке.
Кроме юридического вопроса: «Разрешает ли законодательство РФ использовать зарубежные LLM?», есть еще и другой: «Разрешают ли лицензии зарубежных LLM использовать их в РФ?». Ответ на второй вопрос следует искать в лицензионном соглашении. Обычно это сложный документ со множеством оговорок и исключений. Юристам будет чем заняться.
Как развернуть LLM на корпоративном сервере
Выделим три основных подхода:
Как дообучить LLM
Дообучение (fine-tuning) языковых моделей позволяет адаптировать уже существующую модель под конкретные задачи и улучшить ее качество работы в нужной области. Базовые LLM, обученные на больших объемах данных, могут показывать хорошие результаты, но не всегда идеально справляются со специализированными задачами, например в медицине, финансах или техподдержке. Дообучение помогает исправить это: модель дополнительно обучается на специально подготовленных данных, что делает ее более точной и релевантной.
Существуют разные методы дообучения — от классического Supervised Fine-Tuning (SFT), когда модель учится на примерах с правильными ответами, до Reinforcement Learning from Human Feedback (RLHF) — обучения с подкреплением на основе человеческой обратной связи, который позволяет улучшить взаимодействие с пользователями. Также есть технологии, снижающие затраты на обучение, такие как LoRA (Low-Rank Adaptation) и QLoRA (Quantized Low-Rank Adaptation), которые позволяют адаптировать модель без изменения всех ее параметров. Выбор метода зависит от задач бизнеса, требований к скорости работы и доступных ресурсов.
Процесс дообучения — это кропотливая работа с разнообразными данными компании. Сначала формируется база знаний: регламенты, инструкции, приказы, архив договоров, технических заданий, коммерческих предложений, исследований. Затем добавляются данные колл-центров (транскрипции диалогов), ответы техподдержки. Также важно учитывать юридические аспекты при работе с персональными данными и коммерческой тайной.
Для актуализации знаний и минимизации затрат на обучение можно использовать Retrieval-Augmented Generation (RAG) — метод, который позволяет модели искать информацию в базе знаний перед генерацией ответа, а не запоминать ее во время обучения. Это снижает вероятность ошибок, обеспечивает доступ к обновляемым данным и упрощает поддержку системы.
Независимо от метода обучения, итоговая модель потребует многократного тестирования, а значит, и ресурсов. Но результат того стоит: «супермозг» разберет десятки разноформатных прайс-листов, сведет их в удобную таблицу и подготовит коммерческое предложение, соответствующее лучшим примерам из опыта компании.
Как применить LLM в бизнесе
В большинстве крупных компаний сотрудники уже применяют ChatGPT. По собственной инициативе, не особенно задумываясь о безопасности. Ведь это очень просто — отправить в LLM текст совещания, попросить сделать протокол. Или отправить протокол, попросить предложить варианты решений. Сотрудник экономит время и закрывает с помощью искусственного интеллекта пробелы своих компетенций. В результате компания получает контент: в некоторых случаях он ценный, в некоторых — весьма сомнительный. Печально, что вне зависимости от ценности нового контента в LLM утекает конфиденциальная информация.
Запрещать LLM — простое, но не перспективное решение. Правильнее — развернуть LLM на собственном сервере, провести тесты, подтверждающие эффективность языковой модели для большого числа ваших универсальных задач, подготовить регламент использования и организовать обучение сотрудников в применении этого нового инструмента.
Open source LLM без дообучения вряд ли сможет создать качественный узкоспециализированный контент в конкретной предметной области. Но такая модель точно будет полезна для рутинных универсальных задач, выполнение которых занимает много времени: простые письма, ответы, посты в соцсетях, комментарии, объявления. Совершенно точно универсальная модель сильно поможет с любыми переводами на иностранные языки, переформатированием документов, сравнением документов, объединением данных из разноформатных источников в удобные таблицы и презентации.
Если дообучить LLM-модель, она будет создавать тексты и готовые документы на основе базы знаний. Ценность создаваемого контента сильно зависит от усилий по дообучению. Можно бесконечно долго обсуждать, хорош или плох контент, созданный LLM, но лучше просто попробовать. Например, попросить подготовить документ одновременно сотрудника и LLM-модель, а потом сравнить. В большинстве случаев возможности искусственного интеллекта сильно удивят, и не стоит забывать, что эти возможности стремительно растут. В ближайшие пять лет мы точно окажемся в новой реальности, в которой эффективным будет сотрудник, который умеет активно применять AI-ассистента.
Дообученная языковая модель, которой предоставили весь архив данных, легко разберется с тем, какая у конкретного клиента переплата или долг, вежливо объяснит, почему он возник, и предложит варианты решения ситуации. Также она поймет, почему не работает термодатчик, предложит варианты ремонта или замены, сама заполнит необходимые заявки.
Например, на предприятиях производителя круп «Увелка» компания Napoleon IT внедрила LLM-решение для генерации программного кода и настройки промышленных роботов без необходимости применения специальных навыков программирования. Система работает на собственных вычислительных мощностях компании и автоматизирует управление роботизированным парком на производстве продуктов питания. Это позволило снизить зависимость от узкопрофильных специалистов, ускорить настройку оборудования и повысить гибкость производственных процессов.
Другой пример — один из крупнейших российских ритейлеров бытовой техники и электроники «ХОЛОДИЛЬНИК.РУ» внедрил LLM-решение «Napoleon IT Отзывы» для автоматизации работы с обратной связью. Система анализирует отзывы с маркетплейсов, картографических сервисов, социальных сетей и других платформ, выделяя ключевые темы и структурируя данные в удобном дашборде. Это позволило сократить время обработки отзывов, оперативно выявлять и устранять проблемы, а также улучшать качество товаров и сервиса.
Перспективные направления применения корпоративных LLM
Если хотите заглянуть в ближайшее будущее применения LLM — пообщайтесь с переводчиками и программистами. Там будущее уже наступило. Но есть и другие направления для применения корпоративных LLM: все виды клиентской поддержки (оборудование, сервисы, расчеты), интеллектуальные поисковые системы (внутренние и внешние), ИИ-анализ информации (сравнение и объединение контента), внутренняя техподдержка (ремонт, обслуживание оборудования), внутренние документы для персонала (справки, заявления, уточнения), генерация и обработка контента (перевод, тексты, картинки), кодогенерация (например, при смене языка программирования), интерактивное обучение и корпоративные тренажеры (обучение и экзамены), документооборот (генерация писем, отчетов, презентаций), контроль качества оказания сервиса (LLM поймет все оттенки эмоций).
Угрозы информационной безопасности и коммерческим интересам
Как любая новая цифровая технология, LLM создает новые угрозы информационной безопасности и коммерческим интересам. Наиболее очевидные примеры:
— утечка конфиденциальных корпоративных данных при использовании публичных LLM;— угрозы, связанные с загрузкой LLM на корпоративный сервер (вирусы, вредоносное ПО);— утечка данных из-за использования ненадежных подключений сотрудников к корпоративной LLM (например, через мессенджеры);— ответственность за нарушение законодательства РФ, моральный и материальный ущерб клиентам из-за публичного использования ответов LLM без проверки контента сотрудниками;— ущерб из-за выполнения любых действий на основе неверных данных, подготовленных LLM и не проверенных уполномоченными сотрудниками.
Этот список угроз и рисков далеко не полный. Дополнительного внимания заслуживает тема авторских прав при применении LLM и ответственность за результат применения программного кода, который написан искусственным интеллектом.
Сила LLM
Игнорировать растущие возможности LLM, а также саму возможность скачивать на свой сервер и бесплатно использовать мощные языковые модели будет трудно. Для предпринимателей использование LLM является новой цифровой новацией, которая будет все чаще применяться в реальном бизнесе.
Не все попытки будут удачными и безопасными. Но есть ощущение, что во многих отраслях повторится история, которая прямо сейчас кардинально меняет, например, рынок перевода текстов. Перед вами выбор — наблюдать за конкурентами, которые прямо сейчас уже применяют корпоративные LLM, или постараться стать первой компанией в отрасли, которая эффективно внедрила большую языковую модель.
Олег Сковородников, CEO DT Consulting
Павел Подкорытов, CEO Napoleon IT
СНОБ Ссылка на источник
Эти события создали интересные возможности для массового применения LLM в бизнесе. Ключевыми являются три фактора:— сформировался тренд на open source LLM, и теперь большинство разработчиков выкладывают свои языковые модели в открытый доступ;— модели можно скачать и установить на одном сервере с большим или меньшим количеством видеокарт. Этот сервер может быть в офисе или на корпоративном облаке;— появилась возможность абсолютно автономно обучать модель на основе данных базы знаний, благодаря чему корпоративная LLM будет хорошо ориентироваться в необходимой предметной области.
Ранее, чтобы обучить ChatGPT особенностям бизнес-процессов, компании нужно было отправить корпоративную базу знаний в OpenAI, подождать, пока ее проиндексируют, и далее создавать с помощью ChatGPT нужные смыслы в конкретной предметной области. Конечно, такое цифровое будущее очень нравилось OpenAI, но совсем не нравилось владельцам контента. Сегодня все ровно наоборот: теперь достаточно бесплатно скачать LLM на свой корпоративный сервер, дообучить самостоятельно и далее использовать в периметре информационной системы компании на радость службе безопасности.
Взаимодействие с открытым кодом нейросети позволяет напрямую отправлять запросы и получать результаты от модели без необходимости глубокой интеграции в систему. API предоставляет интерфейс, через который можно отправлять данные (например, текст, изображения) и получать ответы от нейросети (например, генерацию текста, кода, классификацию изображений). Этот способ позволяет интегрировать нейросети в различные приложения, сервисы и процессы без необходимости разработки и развертывания сложных моделей. Тема дообученных автономных корпоративных LLM становится все более популярной. Уже реализованы первые практики и стали яснее перспективы применения этой технологии в реальном российском бизнесе. Но есть некоторые факторы, влияющие на эффективность внедрения корпоративных LLM.
Выбор базовой модели
При выборе базовой языковой модели (LLM) и ее версии для решения конкретной задачи компании важно учитывать несколько факторов:
- нулевой фактор — это определение конкретных задач. Например, нужны ли текстовые или графические результаты запроса.
- первый фактор — определение, с какими источниками данных и в каком формате будет работать целевая система.
- второй фактор — условия, в которых будут обучаться и использоваться модели. Можно ли использовать облако или необходимо обязательно проводить все вычисления во внутреннем контуре компании.
- третий фактор — это бюджет проекта. В случае, если необходимо провести обучение и поддержку моделей в контуре компании, потребуется серверный кластер с GPU, например, от NVIDIA. Для полной версии DeepSeek на 671 млн параметров необходимо 8 видеокарт H100, каждая из которых стоит около 3 млн рублей. Поэтому придется выбирать между бюджетом, количеством параметров модели и скоростью ее работы. Итого, только на сервер понадобится от 2–3 млн до 30–40 млн рублей.
После определения бюджета и задач LLM-проекта рекомендуется создать собственный «бенчмарк» — набор тестов, специально разработанных под задачи компании. Это позволит быстро и объективно оценивать, насколько хорошо различные модели справляются с поставленной задачей, и сравнить их между собой. Для тестирования можно выбрать несколько популярных моделей, используя специальные платформы. Важно — не полагаться только на общие оценки производительности моделей на абстрактных задачах, а провести практические тесты на реальных примерах. Некоторые специалисты советуют лично проверить ответы моделей на конкретных запросах, чтобы получить более точное представление об их возможностях.
Для компаний в РФ рабочим языком, скорее всего, будет русский. В этом случае очень важным параметром становится адаптация моделей к русскому языку. Тут может пригодиться площадка LLM Arena с ее списком лидеров для выбора и тестирования под конкретную задачу. Если же планируется работа на английском или других иностранных языках либо основной фокус направлен на обработку абстрактных данных, чисел и анализ различных форматов информации, рекомендуется обратить внимание на широкий спектр моделей по типу Llama, DeepSeek или Qwen.
Юридические сложности
Так уж получилось, что наиболее мощные LLM созданы в недружественных странах, иногда и компаниями, которые являются запрещенными в РФ. В нашем случае LLM не покупаются, а используются бесплатно на основе лицензии. Это несколько другая ситуация, но все равно применять в качестве базовой такую LLM необходимо, внимательно изучив российское законодательство, особенно если речь идет про госкомпанию.
Очень вовремя выложили для скачивания свои проекты наши китайские партнеры. Продукты DeepSeek и Qwen от Alibaba доступны для коммерческого использования. Хорошая возможность бесплатно получить мощный инструмент, в памяти которого — все доступные в интернете тексты на большинстве языков мира. К этой базе знаний добавлен тот самый искусственный интеллект, который умеет понимать запрос и выдавать ответ на очень хорошем уровне. Российские компании тоже не сидели в стороне и создали за достаточно короткий срок несколько собственных LLM. Первыми были «Сбер» и «Яндекс», затем к ним присоединились «Т-Банк» и МТС. Некоторые версии этих LLM доступны для скачивания и коммерческого использования. Но российские модели пока отстают от американских и китайских по качеству ответов, даже на русском языке.
Кроме юридического вопроса: «Разрешает ли законодательство РФ использовать зарубежные LLM?», есть еще и другой: «Разрешают ли лицензии зарубежных LLM использовать их в РФ?». Ответ на второй вопрос следует искать в лицензионном соглашении. Обычно это сложный документ со множеством оговорок и исключений. Юристам будет чем заняться.
Как развернуть LLM на корпоративном сервере
Выделим три основных подхода:
- свой серверный кластер — надежный, но дорогой вариант. Как говорилось ранее, для решения объемных задач потребуются мощные серверы с несколькими графическими процессорами (GPU), например NVIDIA H100 или аналогичные решения. Такой кластер может стоить десятки миллионов рублей, но обеспечивает полный контроль над данными и работой модели.
- запуск на облачных мощностях. Если нет возможности покупать серверы, можно арендовать так называемое приватное облако (например, у «Яндекса» или «Сбера»). Это гибкий вариант, но в долгосрочной перспективе может оказаться значительно дороже, то есть потребуется сравнительный анализ каждого из вариантов.
- бюджетные решения — запуск модели на менее мощных видеокартах (например, игровых GPU) или даже на процессорах (CPU). Это возможно, если у модели небольшая нагрузка, например, она обрабатывает относительно простые запросы. Однако такие решения требуют больше усилий по настройке и поддержке и могут быть связаны с низкой стабильностью сервиса.
Как дообучить LLM
Дообучение (fine-tuning) языковых моделей позволяет адаптировать уже существующую модель под конкретные задачи и улучшить ее качество работы в нужной области. Базовые LLM, обученные на больших объемах данных, могут показывать хорошие результаты, но не всегда идеально справляются со специализированными задачами, например в медицине, финансах или техподдержке. Дообучение помогает исправить это: модель дополнительно обучается на специально подготовленных данных, что делает ее более точной и релевантной.
Существуют разные методы дообучения — от классического Supervised Fine-Tuning (SFT), когда модель учится на примерах с правильными ответами, до Reinforcement Learning from Human Feedback (RLHF) — обучения с подкреплением на основе человеческой обратной связи, который позволяет улучшить взаимодействие с пользователями. Также есть технологии, снижающие затраты на обучение, такие как LoRA (Low-Rank Adaptation) и QLoRA (Quantized Low-Rank Adaptation), которые позволяют адаптировать модель без изменения всех ее параметров. Выбор метода зависит от задач бизнеса, требований к скорости работы и доступных ресурсов.
Процесс дообучения — это кропотливая работа с разнообразными данными компании. Сначала формируется база знаний: регламенты, инструкции, приказы, архив договоров, технических заданий, коммерческих предложений, исследований. Затем добавляются данные колл-центров (транскрипции диалогов), ответы техподдержки. Также важно учитывать юридические аспекты при работе с персональными данными и коммерческой тайной.
Для актуализации знаний и минимизации затрат на обучение можно использовать Retrieval-Augmented Generation (RAG) — метод, который позволяет модели искать информацию в базе знаний перед генерацией ответа, а не запоминать ее во время обучения. Это снижает вероятность ошибок, обеспечивает доступ к обновляемым данным и упрощает поддержку системы.
Независимо от метода обучения, итоговая модель потребует многократного тестирования, а значит, и ресурсов. Но результат того стоит: «супермозг» разберет десятки разноформатных прайс-листов, сведет их в удобную таблицу и подготовит коммерческое предложение, соответствующее лучшим примерам из опыта компании.
Как применить LLM в бизнесе
В большинстве крупных компаний сотрудники уже применяют ChatGPT. По собственной инициативе, не особенно задумываясь о безопасности. Ведь это очень просто — отправить в LLM текст совещания, попросить сделать протокол. Или отправить протокол, попросить предложить варианты решений. Сотрудник экономит время и закрывает с помощью искусственного интеллекта пробелы своих компетенций. В результате компания получает контент: в некоторых случаях он ценный, в некоторых — весьма сомнительный. Печально, что вне зависимости от ценности нового контента в LLM утекает конфиденциальная информация.
Запрещать LLM — простое, но не перспективное решение. Правильнее — развернуть LLM на собственном сервере, провести тесты, подтверждающие эффективность языковой модели для большого числа ваших универсальных задач, подготовить регламент использования и организовать обучение сотрудников в применении этого нового инструмента.
Open source LLM без дообучения вряд ли сможет создать качественный узкоспециализированный контент в конкретной предметной области. Но такая модель точно будет полезна для рутинных универсальных задач, выполнение которых занимает много времени: простые письма, ответы, посты в соцсетях, комментарии, объявления. Совершенно точно универсальная модель сильно поможет с любыми переводами на иностранные языки, переформатированием документов, сравнением документов, объединением данных из разноформатных источников в удобные таблицы и презентации.
Если дообучить LLM-модель, она будет создавать тексты и готовые документы на основе базы знаний. Ценность создаваемого контента сильно зависит от усилий по дообучению. Можно бесконечно долго обсуждать, хорош или плох контент, созданный LLM, но лучше просто попробовать. Например, попросить подготовить документ одновременно сотрудника и LLM-модель, а потом сравнить. В большинстве случаев возможности искусственного интеллекта сильно удивят, и не стоит забывать, что эти возможности стремительно растут. В ближайшие пять лет мы точно окажемся в новой реальности, в которой эффективным будет сотрудник, который умеет активно применять AI-ассистента.
Дообученная языковая модель, которой предоставили весь архив данных, легко разберется с тем, какая у конкретного клиента переплата или долг, вежливо объяснит, почему он возник, и предложит варианты решения ситуации. Также она поймет, почему не работает термодатчик, предложит варианты ремонта или замены, сама заполнит необходимые заявки.
Например, на предприятиях производителя круп «Увелка» компания Napoleon IT внедрила LLM-решение для генерации программного кода и настройки промышленных роботов без необходимости применения специальных навыков программирования. Система работает на собственных вычислительных мощностях компании и автоматизирует управление роботизированным парком на производстве продуктов питания. Это позволило снизить зависимость от узкопрофильных специалистов, ускорить настройку оборудования и повысить гибкость производственных процессов.
Другой пример — один из крупнейших российских ритейлеров бытовой техники и электроники «ХОЛОДИЛЬНИК.РУ» внедрил LLM-решение «Napoleon IT Отзывы» для автоматизации работы с обратной связью. Система анализирует отзывы с маркетплейсов, картографических сервисов, социальных сетей и других платформ, выделяя ключевые темы и структурируя данные в удобном дашборде. Это позволило сократить время обработки отзывов, оперативно выявлять и устранять проблемы, а также улучшать качество товаров и сервиса.
Перспективные направления применения корпоративных LLM
Если хотите заглянуть в ближайшее будущее применения LLM — пообщайтесь с переводчиками и программистами. Там будущее уже наступило. Но есть и другие направления для применения корпоративных LLM: все виды клиентской поддержки (оборудование, сервисы, расчеты), интеллектуальные поисковые системы (внутренние и внешние), ИИ-анализ информации (сравнение и объединение контента), внутренняя техподдержка (ремонт, обслуживание оборудования), внутренние документы для персонала (справки, заявления, уточнения), генерация и обработка контента (перевод, тексты, картинки), кодогенерация (например, при смене языка программирования), интерактивное обучение и корпоративные тренажеры (обучение и экзамены), документооборот (генерация писем, отчетов, презентаций), контроль качества оказания сервиса (LLM поймет все оттенки эмоций).
Угрозы информационной безопасности и коммерческим интересам
Как любая новая цифровая технология, LLM создает новые угрозы информационной безопасности и коммерческим интересам. Наиболее очевидные примеры:
— утечка конфиденциальных корпоративных данных при использовании публичных LLM;— угрозы, связанные с загрузкой LLM на корпоративный сервер (вирусы, вредоносное ПО);— утечка данных из-за использования ненадежных подключений сотрудников к корпоративной LLM (например, через мессенджеры);— ответственность за нарушение законодательства РФ, моральный и материальный ущерб клиентам из-за публичного использования ответов LLM без проверки контента сотрудниками;— ущерб из-за выполнения любых действий на основе неверных данных, подготовленных LLM и не проверенных уполномоченными сотрудниками.
Этот список угроз и рисков далеко не полный. Дополнительного внимания заслуживает тема авторских прав при применении LLM и ответственность за результат применения программного кода, который написан искусственным интеллектом.
Сила LLM
Игнорировать растущие возможности LLM, а также саму возможность скачивать на свой сервер и бесплатно использовать мощные языковые модели будет трудно. Для предпринимателей использование LLM является новой цифровой новацией, которая будет все чаще применяться в реальном бизнесе.
Не все попытки будут удачными и безопасными. Но есть ощущение, что во многих отраслях повторится история, которая прямо сейчас кардинально меняет, например, рынок перевода текстов. Перед вами выбор — наблюдать за конкурентами, которые прямо сейчас уже применяют корпоративные LLM, или постараться стать первой компанией в отрасли, которая эффективно внедрила большую языковую модель.
Олег Сковородников, CEO DT Consulting
Павел Подкорытов, CEO Napoleon IT
СНОБ Ссылка на источник
