OpenAI API на VDS: подключение и оптимизация затрат

Зачем использовать OpenAI API на VDS?

Даже при наличии локальных моделей, OpenAI API (GPT-4o, GPT-4-turbo) превосходит их по качеству для сложных задач. VDS идеален для: продакшн-приложений с API-ключом, прокси-серверов для команды, многоагентных систем с разными моделями.

Установка OpenAI SDK

pip install openai python-dotenv

Базовое использование

import os
from openai import OpenAI
from dotenv import load_dotenv

load_dotenv()
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "Ты помощник по хостингу."},
        {"role": "user", "content": "Что такое VDS?"}
    ]
)
print(response.choices[0].message.content)

Смешанная стратегия: OpenAI + Ollama

Используйте дешёвую локальную модель для простых задач и OpenAI для сложных:

def get_llm(complexity: str):
    if complexity == "simple":
        from langchain_ollama import OllamaLLM
        return OllamaLLM(model="llama3.2")
    else:
        from langchain_openai import ChatOpenAI
        return ChatOpenAI(model="gpt-4o-mini")

Прокси-сервер для команды

LiteLLM позволяет создать OpenAI-совместимый прокси, который маршрутизирует запросы между Ollama и OpenAI:

pip install litellm
litellm --model ollama/llama3.2 --port 8000