Data специалист

ID 1102074
Должность Data специалист
Опыт работы более 10 лет
Зарплата по договоренности
Менеджер

Тел.: (495) 987–45–64

E-mail: info@profistaff.ru

Дополнительная информация

Пол: Мужской

Место жительства: г. Москва

Связаться с соискателем
Образование:
Учебное заведение: Московский государственный технологический университет
Факультет: Самоорганизующиеся нейронные сети Кохонена
Учебное заведение: Московский государственный технологический университет
Специальность: Разработчик баз данных
Опыт работы:
11.2016 - Н/В

Компания разработчик ПО, Москва


Должность: Data Engineer


Обязанности:

Разработал стримминговый пайплайн для загрузки и парсинга сырых данных реплеев матчей Dota 2 из Steam API. Ежедневный трафик данных пайплайна: 3 Террабайта входящий/40 Гигабайт исходящий. Данные в формате JSON сохраняются в хранилище данных, архитектуру и разработку которого я осуществлял. Разработанное решение экономит для компании 300-400$ в месяц, т.к. позволяет не пользоваться сторонними сервисами и не платить за ключ.

Разработал стримминговый пайплайн для запуска ML моделей на больших данных распаршенных реплеев за недели и месяцы. Результаты модели обеспечивают пользователей инсайтами по сбору самых выигрышных комбинаций айтемов и абилок в игре.

Разработал стримминговый пайплайн для студии онлайн-трансляции матчей Dota 2. Данные по игре, которую комментирует комментатор в реальном времени агрегируются и доступны по ссылке в АПИ компании. По окончании матча статистика за игру высылается студии по Телеграмм-каналу.

• Разработал ETL фреймворк по загрузке даннных распаршенных реплеев в нормализованные таблицы хранилища данных, которые испльзуются для обеспечения корпоративного бэкэнда статистическими инсайтами по играм всех пользователей в Dota2 через REST API.


Дополнительная информация:

Стэк:

PostgreSQL 11, PL/pgSQL, Python, Apache Beam, Apache Flink, Google Dataflow, Numpy, Pandas, SciKit Learn, Pentaho, Bash, Flask, FastAPI, Redis, RabbitMQ, Docker, CentOS, Grafana, NewRelic, GIT, Microsoft Azure, Google Cloud Platform

07.2012 - 11.2016

Крупный e-commerce, Москва


Должность: Разработчик хранилищ данных (DWH, BI)


Обязанности:

Развитие и поддержка корпоративного хранилища данных: витрины данных, различные загрузки данных (из SQL баз данных, REST API, JSON, CSV, Excel, XML)

Разработка внутреннего релиз-тула для деплоя тасков на тестовую (UAT) и PRODUCTION среды

Редизайн и переработка устаревающих сервисов хранилища данных и ETL-процедур

Доработка функционала корпоративного ELT-фреймворка состоящего из взаимосвязанных джобов на Pentaho Data Integration, метаданных в таблицах Oracle 11g и хранимых процедур (пакетов) на PL/SQL

Оптимизация производительности SQL-запросов заполнения витрин на каждом из 3-х слоев данных хранилища: Data Layer, Intelligence Layer, Business layer

Участие в команде ночных дежурных по поддержке работы хранилища в режими 24x7

Разработка в Agile методологии


Дополнительная информация:

Достижения:

Завершенные проекты финансовых витрин данных (MS Axapta, 1S Enterprise ERP) и витрин с ключевыми показателями мобильных приложений (Google API Console, Google Analytics, Newrelic, AppAnnie)

Разработан релиз-тул для непрерывного выката разработок на продуктовую среду

 

Стек:

RHEL 6, Oracle 11g, Pentaho Data Integration, PL/SQL, SVN, Atlassian Jira, Confluence, SAP BusinessObjects, Agile

 


Опыт работы
c 2016-11-01 по 0000-00-00  Компания разработчик ПО, Москва
Должность Data Engineer
Обязанности <p>Разработал стримминговый пайплайн для загрузки и парсинга сырых данных реплеев матчей Dota 2 из Steam API. Ежедневный трафик данных пайплайна: 3 Террабайта входящий/40 Гигабайт исходящий. Данные в формате JSON сохраняются в хранилище данных, архитектуру и разработку которого я осуществлял. Разработанное решение экономит для компании 300-400$ в месяц, т.к. позволяет не пользоваться сторонними сервисами и не платить за ключ.</p> <p>Разработал стримминговый пайплайн для запуска ML моделей на больших данных распаршенных реплеев за недели и месяцы. Результаты модели обеспечивают пользователей инсайтами по сбору самых выигрышных комбинаций айтемов и абилок в игре.</p> <p>Разработал стримминговый пайплайн для студии онлайн-трансляции матчей Dota 2. Данные по игре, которую комментирует комментатор в реальном времени агрегируются и доступны по ссылке в АПИ компании. По окончании матча статистика за игру высылается студии по Телеграмм-каналу.</p> <p>• Разработал ETL фреймворк по загрузке даннных распаршенных реплеев в нормализованные таблицы хранилища данных, которые испльзуются для обеспечения корпоративного бэкэнда статистическими инсайтами по играм всех пользователей в Dota2 через REST API.</p>
Дополнительная информация <p>Стэк:</p> <p>PostgreSQL 11, PL/pgSQL, Python, Apache Beam, Apache Flink, Google Dataflow, Numpy, Pandas, SciKit Learn, Pentaho, Bash, Flask, FastAPI, Redis, RabbitMQ, Docker, CentOS, Grafana, NewRelic, GIT, Microsoft Azure, Google Cloud Platform</p>
c 2012-07-01 по 2016-11-01  Крупный e-commerce, Москва
Должность Разработчик хранилищ данных (DWH, BI)
Обязанности <p><span>Развитие и поддержка корпоративного хранилища данных: витрины данных, различные загрузки данных (из SQL баз данных, REST API, JSON, CSV, Excel, XML)</span></p> <p><span>Разработка внутреннего релиз-тула для деплоя тасков на тестовую (UAT) и PRODUCTION среды</span></p> <p><span>Редизайн и переработка устаревающих сервисов хранилища данных и ETL-процедур</span></p> <p><span>Доработка функционала корпоративного ELT-фреймворка состоящего из взаимосвязанных джобов на Pentaho Data Integration, метаданных в таблицах Oracle 11g и хранимых процедур (пакетов) на PL/SQL</span></p> <p><span>Оптимизация производительности SQL-запросов заполнения витрин на каждом из 3-х слоев данных хранилища: Data Layer, Intelligence Layer, Business layer</span></p> <p><span>Участие в команде ночных дежурных по поддержке работы хранилища в режими 24x7</span></p> <p><span>Разработка в Agile методологии</span></p>
Дополнительная информация <p>Достижения:</p> <p>Завершенные проекты финансовых витрин данных (MS Axapta, 1S Enterprise ERP) и витрин с ключевыми показателями мобильных приложений (Google API Console, Google Analytics, Newrelic, AppAnnie)</p> <p>Разработан релиз-тул для непрерывного выката разработок на продуктовую среду</p> <p> </p> <p>Стек:</p> <p>RHEL 6, Oracle 11g, Pentaho Data Integration, PL/SQL, SVN, Atlassian Jira, Confluence, SAP BusinessObjects, Agile</p> <p> </p>
Знание языков:
АнглийскийРазговорный
Связаться с соискателем
Компания *
Контактное лицо *
Телефон *
Email
Комментарий
ТЕГИ:
Data специалист
Другие резюме данного раздела:
Должность
Разработчик Frontend
Разработчик Frontend
Разработчик Frontend
ИТ директор
Руководитель направления (ИТ), Директор программы проектов
Директор ИТ