Как использовать OpenSource модели Llama, Mixtral

В модуле вы можете использовать, для генерации значений, OpenSource ИИ модели которые могут быть запущены либо у вас на сервере либо на удаленном сервисе, который предоставляет размещение таких моделей и доступ к ним через API. (На данный момент, все OpenSource модели генерирует тексты на русском языке хуже нежели коммерческие/платные ИИ модели, но для простых задач их может быть достаточно)

В данном примере мы будем использовать сервис Groq.com который предоставляет доступ к бесплатным ИИ моделям по API. Для его работы придется активировать прокси в модуле, если ваш сайт находится на хостингах внутри РФ или РБ.

1. https://groq.com - Зарегистрируйтесь на сервисе, используя VPN для РФ и РБ

2. Переходим на https://console.groq.com , авторизуемся и выбираем пункт API KEYS слева в меню.

3. Создаем API KEY, копируем его и вставляем в настройках модуля в поле "API Key токен"

4. Также в настройках модуля в поле Endpoint URL указываем "https://api.groq.com/openai" и переключаем модель ИИ на одну из llama; mixtral; gemma - рекомендую использовать модель mixtral-70b для русского языка

5. Паузу между запросами ставим 5000 и турбо-ускорение ставим 1 (обязательно)

6. В настройках модуля переходим во вкладку "Proxy" и включаем прокси, указывая ваши данные при необходимости. ( только РФ или РБ)

7. Переходим во вкладку "Дополнительные" и указываем системные инструкции с вашими пожеланиями по стилю письма и кратким контекстом для ИИ. К примеру: Ты контент менеджер интернет магазина, пиши максимально коротко и уникально, отвечай всегда на русском языке. Заполняйте это поле коротким и однозначным текстом, чтобы ИИ лучше понял ваши инструкции и не запутался

8. Сохраняйте настройки.

9. Если в процессе работы ИИ начинает ошибаться с окончаниями слов, то попробуйте снизить параметр top_p до 0.9 либо 0.8, также можете попробовать изменить температуру. Главное меняйте значения плавно с небольшим шагом, шаг не более 0.05, как для top_p так и для температуры. Также можете изменить "Роль сообщений" в настройках модуля и переформулировать ваши промпты. Хорошие промпты это как правило 50% успеха.