#1678: Подключение локальной LLM / стороннего ИИ провайдера, совместимого с OpenAI API
Отредактирована: 30 дней назадСимптомы
Можно ли подключить нашу собственную LLM к Swarmica в качестве ИИ-провайдера?
Решение
Да, если ваша LLM доступна через OpenAI-совместимое API и с ней можно работать через OpenAI Python SDK, то ее можно подключить в качестве ИИ-провайдера. Для этого выполните следующие шаги:
- Необходимо получить адрес API, токен и название модели, которые будут указываться в openai API client у тех сотрудников, которые имеют доступ к настройке LLM
- В разделе Настройки > Интеграции > ИИ провайдеры > OpenAI-совместимый заполните форму:
Важно! Указанный адрес базового URL должен быть доступен с хоста, где установлена Swarmica
- Включите переключатель Активен и нажмите Сохранить
Теперь Swarmica будет использовать эту LLM для ИИ-функций.
По умолчанию, Swarmica предполагает, что LLM поддерживает все функции ChatGPT, но некоторые модели не поддерживают все функции ChatGPT. Например, Нейропоиск, Поиск дубликатов статей, ИИ-саппорт недоступны для Deepseek, хотя он формально поддерживает OpenAI API. Если у вас с вашей LLM возникли проблемы, пожалуйста, обратитесь в нашу службу поддержки и сообщите технические детали