Трансформация данных / ETL

Трансформация данных — это процесс преобразования данных из одного формата, структуры или модели в другую. В контексте интеграции — перевод сообщения из формата системы-источника в формат, понятный системе-получателю.

ERP отправляет заказ в формате XML по стандарту SAP IDoc. Система электронной коммерции ожидает JSON по собственной схеме. Трансформация выполняет маппинг: поле VBELN из IDoc становится полем order_id в JSON, дата из формата YYYYMMDD преобразуется в ISO 8601, сумма пересчитывается из копеек в рубли. Результат — структурно и семантически корректное сообщение для получателя.

ETL (Extract, Transform, Load) — частный случай трансформации для пакетной обработки данных: извлечь из источника, преобразовать по правилам, загрузить в целевую систему. ELT (Extract, Load, Transform) — современная вариация, где трансформация выполняется уже внутри целевой системы, обычно аналитической базы данных.

Системы, купленные в разное время у разных вендоров, говорят на разных языках. Нет трансформации — нет интеграции. Качество трансформации напрямую влияет на качество данных в целевой системе: ошибка в маппинге одного поля может привести к некорректным остаткам на складе или неверному расчёту налогов.

ETL-трансформация работает в пакетном режиме — обычно раз в час или раз в день, с большими объёмами данных. ESB-трансформация работает в реальном времени — с каждым отдельным сообщением по мере его поступления. Для оперативных бизнес-процессов нужен ESB, для аналитики и отчётности — ETL.

Интегра включает графический маппинг-редактор, который позволяет настраивать трансформации визуально — перетаскивая поля из схемы источника на поля схемы получателя. Поддерживается загрузка схем трансформаций в форматах XSLT, XML. Валидация схем на входе и выходе гарантирует корректность трансформации до её применения в продакшне.