Релизы 2.0.53 и 2.0.54: Улучшения обработчика ExcelSmartParser, загрузка файлов с FTP-сервера с фильтрацией по маске имени, проверка корректности настроек блока с включенным режимом N к 1, аутентификация при получении Open-API спецификации, Оптимизация работы исходящего коннектора TCP-UDP

• Выполнился пакет улучшений обработчика ExcelSmartParser, направленный на повышение надежности и точности парсинга таблиц любой сложности:

— Столбцы с одинаковыми заголовками в таблице обрабатываются корректно. Для каждого из таких столбцов в конце наименования добавляется номер, делающий все столбцы уникальными по имени
— Столбцы без заголовков теперь всегда учитываются и для них автоматически проставляются имена по умолчанию
— Для таблиц с большим уровнем вложенности заголовков предусмотрена максимальная настройка, позволяющая учесть все уровни заголовков
— Значения строковых полей могут автоматически очищаться от лишних символов. Символы для автоматического удаления задаются регулярным выражением в настройках обработчика
— При обнаружении таблиц с одинаковыми заголовками таблицы объединяются в одну
— Улучшен механизм определения границ таблицы — учитываются скрытые столбцы, отличающееся оформление таблицы среди ее строк
— Переключатель «Убрать из таблиц строки, в которых находятся числа» теперь корректно удаляет вспомогательные строки таблицы, содержащие не только цифры, но и буквы
— Добавлен механизм автоматического исключения общего заголовка таблицы («шапки»)

Данная проверка позволит избежать потери данных из-за перезаписи данных из разных источников в одну переменную

• Добавлена поддержка типа данных ByteArray (массив байтов) в обработчике LDAP
• Если получение Open-API спецификации защищено владельцем OpenAPI механизмом аутентификации, то при настройке OpenAPI-сервиса появилась возможность задавать способ аутентификации. Поддерживаются Basic и Bearer способы

• В настройках обработчика Python добавилась вкладка с дополнительными параметрами:

— Таймаут запросов к Python-executor
— Количество попыток переотправки при сбоях

Это решает проблему, когда при долгом выполнении кода запускался второй воркер, что приводило к задвоению обработки и сбоям

• При работе с базами данных через обработчик SQL добавилась возможность выполнять подключения к базам данных с использованием SSL-шифрования
• Добавились несколько улучшений в работе умного обработчика Excel:

— Пустые объединенные ячейки больше не мешают корректному распознаванию многострочных и многоуровневых заголовков
— При обработке данных Excel-файлов типа KeyValue обработчик теперь добавляет объект data, содержащий все переменные группы. При этом, если в группе встречаются несколько переменных с одинаковым именем, их значения объединяются в массив
— Если ячейки таблицы заполнены значениями, но они невидимы для глаза, то есть цвет текста совпадает с цветом фона, то такие ячейки можно игнорировать, активировав настройку «Игнорировать ячейки с невидимым текстом»

• В обработчике Поиск (Search) при указании пути появилась возможность указывать вложенность атрибутов через точку (точечная нотация)

Багофиксы:

• Исправлено, что при обращении к FTP-серверу с неверными учетными данными через FTP -обработчик возвращался пустой результат, а не ошибка
• Исправлена ошибка, фиксируемая в журнале событий раздела «Аудит событий» при авторизации через Keycloak, как неудачная попытка входа в систему, после длительного бездействия пользователя
• Исправлена ошибка, при которой SQL-обработчик при обращении к базе данных ничего не находил, то возвращал пустой объект, а не null
• Исправлена ошибка обработчика DataFilter при фильтрации сообщений по нескольким условиям одновременно
• Устранена ошибка, из-за которой простые плоские таблицы с одним уровнем заголовков обрабатывались неверно обработчиком ExcelSmartParser
• Оптимизирована скорость фильтрации списка сообщений по критерию «Только с ошибкой» в разделе «Трассировка пакетов» «Интегры»
• Устранен баг, нарушающий работу передачи и получения данных между «Интегрой» и брокерами сообщений — Kafka, RabbitMQ, ActiveMQ
• Оптимизирована скорость работы обработчика Queue
• Восстановлена работа FTP-коннектора по протоколу SFTP
• Исправлена ошибка преобразования Netty-буфера в строку из-за преждевременного освобождения памяти в исходящем коннекторе TCP-UDP. В коннектор добавлена настройка «Ожидать ответ от сервера» (по умолчанию true), что дает возможность гибко управлять поведением при отправке
• Оптимизирована работа обработчика ExcelSmartParser по части единообразия при формировании JSON-структур у схожих файлов
• Восстановлена возможность перехода к потоку через меню, активируемое нажатием правой кнопкой мыши в любом месте строки с сообщением в разделе «Трассировка пакетов» «Интегры»
• Исправлена ошибка, возникавшая при закрытии окна редактирования обработчика IfThenElse
• Устранен баг отображения всего списка пользователей в разделе «Настройки» «Интегры»
• Оптимизирована работа масштабирования интерфейса «Интегры» колесом мыши