Backend-разработчик: AI API Router (Python/Node.js)

Backend-разработчик: AI API Router (Python/Node.js)

О компании

Мы — команда, развивающая AI-сервис с аудиторией десятков тысяч пользователей и высоким объёмом запросов к AI-провайдерам. Разрабатываем умный роутер запросов между AI-провайдерами (OpenAI, Anthropic, DeepSeek, Google и др.) с интеллектуальной маршрутизацией и оптимизацией расходов.

Что предстоит делать

Разработка с нуля и под ключ. Вы будете единственным разработчиком на этом проекте. Нет legacy-кода, нет чужих решений — вы проектируете архитектуру, выбираете подходы и реализуете всё самостоятельно. 

Задача — спроектировать и разработать микросервис, который принимает запросы в OpenAI-совместимом формате и интеллектуально маршрутизирует их между AI-провайдерами.

Конкретно:

• Разработка API-шлюза с единым эндпоинтом, совместимым с OpenAI API (Chat Completions формат)
• Классификатор входящих запросов по сложности (simple / medium / complex / code / image) — на основе эвристик с последующей эволюцией в ML-модель
• Таблица маршрутизации: какой провайдер и модель используется для каждого типа запроса
• Проксирование запросов к провайдерам (OpenAI, Anthropic, Google, DeepSeek и др.) с поддержкой streaming
• Логирование метрик: стоимость каждого запроса, latency, выбранная модель, токены input/output
• Автоматический fallback при недоступности провайдера (circuit breaker паттерн)
• Внутренний rate limiter per provider для предотвращения каскадных отказов
• Дашборд аналитики: расход по провайдерам, экономия, графики за период
• Кеширование запросов (exact match + semantic cache)
• Система API-ключей, биллинг, rate limiting по ключам

Стек

• Язык: Python (FastAPI/aiohttp) или Node.js (Express/Fastify) — на ваш выбор
• БД: PostgreSQL (биллинг, пользователи, логи), Redis (кеш, rate limiting, circuit breaker state)
• Инфраструктура: Docker, размещение на VPS (DigitalOcean / Selectel)
• API-провайдеры: OpenAI, Anthropic, Google AI, DeepSeek, в будущем — self-hosted модели

Что важно

• Опыт работы с OpenAI API (или аналогичными LLM API) — обязательно
• Понимание streaming (SSE) — обязательно
• Опыт проектирования и разработки микросервисов
• Понимание REST API, работа с несколькими внешними API параллельно
• Умение писать чистый, поддерживаемый код
• Самостоятельность: задачи ставятся на уровне «что нужно получить», а не «как именно сделать»

Будет плюсом:

• Опыт с LLM-роутингом или оркестрацией моделей
• Работа с биллинговыми системами и ЮКассой
• Опыт работы с Redis для кеширования и rate limiting
• Понимание токенизации и ценообразования LLM-моделей
• Опыт с ML (LightGBM/CatBoost) — для развития классификатора

Условия

• Удалённая работа
• Проектная занятость с перспективой постоянного сотрудничества
• Оплата обсуждается индивидуально, в зависимости от опыта
• Прямое общение с основателями, без бюрократии

Почему это интересно

Это не очередной CRUD. Вы проектируете систему, которая в реальном времени принимает решения о маршрутизации тысяч запросов в секунду, оптимизируя баланс между стоимостью, скоростью и качеством. Классификатор запросов эволюционирует от ручных эвристик до самообучающейся ML-модели. Есть реальный трафик с серьёзными объёмами — результат вашей работы виден сразу в цифрах экономии.

Как откликнуться

Напишите коротко: какой у вас опыт с LLM API, на каком стеке предпочитаете работать, и как бы вы подошли к задаче классификации запросов по сложности. Портфолио или GitHub приветствуются.