Data engineer / архитектор хранилища данных

Требования

Архитектор баз данных
Senior
Базы данных
SQL
Python
PostgreSQL
ClickHouse
Алгоритмы и структуры данных

Условия

Можно удалённо
Неполный рабочий день

Описание вакансии

О компании и команде

Мы не стартап «на идее» — мы уже сделали результат. 

25 лет опыта в оффлайн-ритейле + глубокая экспертиза в e-commerce.
Развиваем собственные бренды верхней одежды GRIZMAN и LAWINTER, которые за последние 3 года вышли в лидеры категории на Wildberries. Это не про «попробовали и получилось», а про системную работу с продуктом, аналитикой и масштабированием.

Что важно про команду и проект:

  • Уже есть обороты и нагрузка
  • Много свободы в принятии решений: нет бюрократии и долгих согласований
  • Data — это не вспомогательная функция, а ядро бизнеса (мы реально опираемся на цифры, а не на «чувство рынка»)
  • Можно построить систему «с нуля правильно»

Сейчас мы выходим на следующий уровень — нам нужна полноценная архитектура данных: сбор, хранение, обработка и быстрая доступность информации для бизнеса.

Поэтому мы ищем не просто data engineer, а человека, который сможет построить фундамент всей аналитики компании и напрямую влиять на рост бизнеса.

Что нужно сделать:

  • Построить внутреннюю систему аналитики «РНП» по: Wildberries / Ozon / рознице в 1С УТ:
  • спроектировать архитектуру;
  • определить, что хранить в Postgres, что в ClickHouse;
  • продумать сущности, ключи, связи, гранулярность;
  • настроить автоматическую загрузку данных из API WB, Ozon и 1С;
  • реализовать загрузку на Python;
  • учесть дубли, неполные данные, ошибки, изменения задним числом, догрузку и пересчет;
  • построить расчетный слой между сырыми данными и интерфейсом;
  • подготовить быстрые витрины / агрегаты / предрасчеты;
  • передать решение нашей команде;
  • при необходимости подключаться к доработкам.

Требования:

  • реальный опыт похожих проектов;
  • желательно опыт именно с маркетплейсами;
  • SQL + Python;
  • опыт проектирования аналитических БД / хранилищ;
  • опыт работы с API;
  • понимание расчетного слоя;
  • интеграция с 1С или понимание, как это делать.

Формат: 

  • проектная работа в удаленном формате;
  • сдача этапами;
  • работа на нашем сервере.

Дополнительно:

Чтобы понять, насколько ваш опыт подходит под нашу задачу, просьба коротко ответить по пунктам:

1. Какой похожий проект по маркетплейсам вы делали лично?

2. С какими маркетплейсами и API вы работали руками?

3. Что именно вы делали сами: проектирование БД / выбор архитектуры / загрузка данных на Python / расчетный слой / витрины / агрегаты / интеграция с 1С

4. Как вы решали ситуации, когда API:

  • отдавало не все данные,
  • присылало дубли,
  • меняло старые данные задним числом

5. Что бы вы предложили для такой задачи на старте:

  • только Postgres или - Postgres + ClickHouse  и почему

6. Как вы бы разделили:

  • сырые данные,
  • расчетный слой,
  • данные для интерфейса

7. Есть ли у вас опыт передачи такого проекта внутренней команде

8. Можете ли вы после запуска подключаться к точечным доработкам

9. Если можно, кратко опишите один похожий кейс: что было на входе, что вы сделали, какой результат получили.

10. Ваш ориентир по стоимости и формату работы.