LocalAI на VDS: OpenAI-совместимый сервер для локальных моделей

Что такое LocalAI?

LocalAI — open-source REST API, полностью совместимый с OpenAI API, но работающий с локальными моделями. Поддерживает GGUF, GPTQ модели, генерацию изображений (Stable Diffusion), синтез речи (TTS) и распознавание речи (Whisper).

Преимущества перед Ollama

• Полная совместимость с OpenAI API (замена без изменения кода)
• Поддержка генерации изображений
• TTS и STT встроены
• Больше форматов моделей

Установка через Docker

docker run -d \
  --name localai \
  -p 8080:8080 \
  -v localai_models:/build/models \
  --restart always \
  localai/localai:latest-aio-cpu

Загрузка модели

# Через API
curl http://localhost:8080/models/apply -H "Content-Type: application/json" \
  -d '{"id": "huggingface://TheBloke/Mistral-7B-Instruct-v0.2-GGUF/mistral-7b-instruct-v0.2.Q4_K_M.gguf"}'

Использование как OpenAI замена

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="mistral-7b-instruct",
    messages=[{"role": "user", "content": "Привет!"}]
)
print(response.choices[0].message.content)