В связи с уходом международных вендоров клиенту требовалась миграция баз данных с MS SQL и MS SSIS на новое решение без потерь данных и с сохранением производительности
О проекте
Заказчик
Крупная российская компания, занимающаяся лизингом техники
технологии
PostgreSQL, Apache Airflow
Особенности
Работа по адаптации БД проводилась в режиме реального времени, параллельно бизнес-процессам компании заказчика
В процессе проверки итогов миграции происходило непрерывное наполнение исходной БД новыми данными, что осложняло переход и требовало дополнительного внимательного сравнения исходных данных.
Решение
По итогу проведенного предпроектного обследования, внимательного изучения требований и оценки технологических и производственных рисков клиенту был предложен
План перехода на PostgreSQL с помощью Apache Airflow
И адаптация базы данных и сервера взаиморасчетов корпоративной информационной системы
Результат
1
Произведена адаптация баз данных
Произведена адаптация баз данных и ETL пакетов с MS SQL и MS SSIS на PostgreSQL с помощью Apache Airflow
2
6 Тб исходных данных
Перенесено и адаптировано в ходе проекта
3
Сохранены принципы обмена
Сохранены принципы информационного обмена и порядка запуска всех процедур, сохранены временные интервалы выполнения ETL пакетов заказчика
4
Достигнут требуемый уровень производительности
Достигнут допустимый уровень производительности адаптируемой базы данных
5
Устойчивая система
Обеспечена устойчивость и информационная безопасность решения за счет использования ПО систем хранения данных с верифицированным открытым исходным кодом.
6
Критерии и скрипты приемки
Совместно с заказчиком разработаны критерии и скрипты для проведения проектной приемки, по результатам которых были предоставлены протоколы сравнения данных
Другие проекты
Разработка data management системы для хранилища данных