Здравствуйте, меня зовут Джейкоб, я руковожу инженерами в новой компании Enterprise AI. Мы работаем с рядом экспертов на предприятиях, чтобы понять, что нужно нашим клиентам для эффективного использования ИИ в производственных средах. Я хочу поделиться некоторыми знаниями, которые мы узнали.

Ни у кого нет ответов на все вопросы (пока)

Пространство новое и все еще находится в постоянном движении. В Твиттере так много видеороликов о следующем большом приложении ИИ, что люди с осторожностью относятся к тому, что реально, а что выдумка.

«Демонстрационная усталость» прочно обосновалась, в то время как открылись новые парадигмы. У всех есть FOMO, и они пытаются выяснить, как быстро применить последние исследования на практике.

Производственный инжиниринг, а не оперативный инжиниринг

Независимо от конечного варианта использования ИИ, фундаментальные проблемы, связанные с его использованием, очень хорошо знакомы людям, которые работали на платформах «больших данных» или «облачных вычислений»:

  • Как моя система надежно работает в масштабе?
  • Куда идут мои данные и кто имеет к ним доступ?
  • Достаточно ли гибка моя архитектура, чтобы поддерживать инновации в течение следующих 1–5 лет?

Для нас все это подпадает под «Инжиниринг производства». Для ИИ будет иметь решающее значение переход от демонстрационной версии к рабочей. Большинство компаний разрываются между созданием собственных реализаций и покупкой незрелых решений, которые не подходят для бизнес-целей.

Для нас искусственный интеллект в производстве — это больше, чем LangChain + LLamaIndex + GPT-4, позволяющий проводить вопросы и ответы по данным вашей компании. Компании ищут способы сделать ИИ основой своего бизнеса. Эти пространства не соответствуют подходу, основанному на чате, и им не должно быть разрешено отправлять данные во внешнюю облачную систему.

Где ваша модель

Единственный вопрос, который мы чаще всего слышим, не в том, какие модели запускать, а где их запускать. Существует явная дихотомия между большими облачными моделями с закрытым исходным кодом и малыми локальными моделями с открытым исходным кодом. Мы считаем, что эта точка зрения в первую очередь является недоразумением. Каждый вариант удовлетворяет различные потребности.

Облачные модели в настоящее время имеют преимущество с точки зрения необработанных возможностей и понимания мира природы. Это также делает их склонными к посредственному выполнению конкретных задач и увеличивает риск галлюцинаций. Использование облачной модели может быть сопряжено со значительными рисками для безопасности — в конце концов, вы отправляете важные данные во внешнюю систему, находящуюся вне вашего контроля.

Меньшие модели могут тянуть в 10 раз больше своего веса

Меньшие модели могут сиять сами по себе. Например, люди извлекли фантастическую пользу из серии RedPajama от компании Вместе с ИИ, которая является одной из немногих моделей, лицензированных для коммерческого использования. Количество людей, которые никогда не проверяли типовую лицензию при ее использовании в целях компании,… настораживает.

Хитрость заключалась в том, чтобы глубоко понять, как была настроена модель, и использовать встраивания, чтобы убедиться, что модель имеет наиболее релевантный контекст (то, что в наши дни дети называют RAG).

Заманчиво выбрать самую большую доступную модель и предоставить лучшее оборудование, но это означает более высокие затраты и часто более длительное время вывода. Мы обнаружили, что «золотое пятно» — это модели с от 7 до 15 миллиардов параметров. Они могут хорошо анализировать естественный язык, и им не нужно обладать знаниями о мире, которые не будут актуальны в контексте предприятия.

Некоторые конкретные примеры того, как, например, RedPajama Instruct можно использовать с пользой, мы видели в полевых условиях:

Американский процессор медицинских платежей хочет гарантировать, что любая поданная претензия имеет высокие шансы быть принятой. Их устаревший подход представлял собой комбинацию ручных проверок, регулярных выражений и скриптов. С моделью, работающей в их собственной сертифицированной системе, они могут анализировать отклоненные заявки и выводить правила в стандартном формате. Это, в свою очередь, используется с моделью и их устаревшей системой для проверки утверждений перед отправкой.

Необанк нанял группу подрядчиков для проверки информации о клиентах на основе счетов за коммунальные услуги. Небольшие модели обеспечивают простой и надежный способ преобразования PDF-документов в структурированные данные и автоматизации всего этого процесса в сочетании с новыми методами, такими как JSONformer. OpenAI не обсуждался, поскольку счета за коммунальные услуги считаются PII и не обеспечивают необходимой надежности, когда дело доходит до формата вывода.

Стартап в области кибербезопасности хотел предоставить своим пользователям простой способ смягчения и устранения CVE. Вместо того, чтобы просматривать случайную коллекцию веб-сайтов, они обобщают веб-сайты с помощью локально работающей модели, а затем объединяют их в стандартный формат. Таким образом, пользователи получают постоянный опыт, но также могут задавать дополнительные вопросы об исправлении.

Этот список ни в коем случае не является исчерпывающим и призван служить примером того, как даже модели, работающие локально, могут обеспечивать различные варианты использования. Люди учатся в режиме реального времени, что возможно.

Важно избегать универсального подхода. Реальность такова, что в большинстве мест используется сочетание малых и больших моделей, которые работают совместно в разных сценариях использования, в облаке и в VPC. Конфиденциальные данные будут обрабатываться небольшими моделями в VPC, в то время как более крупные модели обрабатывают общедоступные данные в облаке.

Мы думаем об этом как о "федеративном выводе". Сеть моделей переплетается с существующим программным стеком: ПО 1.0 и ПО 2.0 работают в тандеме. Основой для ее раскрытия является существующая производственная практика, которая уже обеспечивает работу в больших масштабах.

Таким образом, ИИ очень похож на базы данных 70-х или облачные вычисления 2000-х. Люди, с которыми мы разговаривали, считают, что инновации еще далеки от завершения, и искусственный интеллект станет стандартным компонентом всего нового программного обеспечения. Большинство компаний будут взаимодействовать со многими различными моделями, которые со временем станут умнее.

Мы хотим помочь им достичь этого и взволнованы предстоящим будущим.