#1678: Подключение локальной LLM / стороннего ИИ провайдера, совместимого с OpenAI API

Отредактирована: 30 дней назад

Симптомы

Можно ли подключить нашу собственную LLM к Swarmica в качестве ИИ-провайдера?

Решение

Да, если ваша LLM доступна через OpenAI-совместимое API и с ней можно работать через OpenAI Python SDK, то ее можно подключить в качестве ИИ-провайдера. Для этого выполните следующие шаги:

  1. Необходимо получить адрес API, токен и название модели, которые будут указываться в openai API client у тех сотрудников, которые имеют доступ к настройке LLM
  2. В разделе Настройки > Интеграции > ИИ провайдеры > OpenAI-совместимый заполните форму:

    Важно! Указанный адрес базового URL должен быть доступен с хоста, где установлена Swarmica

  3. Включите переключатель Активен и нажмите Сохранить

Теперь Swarmica будет использовать эту LLM для ИИ-функций.

По умолчанию, Swarmica предполагает, что LLM поддерживает все функции ChatGPT, но некоторые модели не поддерживают все функции ChatGPT. Например, Нейропоиск, Поиск дубликатов статей, ИИ-саппорт недоступны для Deepseek, хотя он формально поддерживает OpenAI API. Если у вас с вашей LLM возникли проблемы, пожалуйста, обратитесь в нашу службу поддержки и сообщите технические детали