Ollama: локальні LLM на VPS без API-ключів

AI-агенти з Ollama: локальні LLM без API-ключів

Ollama дозволяє запускати LLaMA 3, Mistral, Gemma на вашому VPS. Дані не залишають сервер, немає плати за токени.

Встановлення та моделі

curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.2:3b   # 2 ГБ
ollama pull mistral:7b    # 4 ГБ
ollama run llama3.2:3b

Python SDK

pip install ollama

import ollama
response = ollama.chat(
    model='llama3.2:3b',
    messages=[{'role': 'user', 'content': 'Як оптимізувати nginx?'}]
)
print(response['message']['content'])