На первом этапе осуществляется извлечение данных из внешних источников и загрузка их во временные таблицы хранилища данных. В качестве внешних источников могут выступать как файлы, так и другие базы данных, поддерживающие язык SQL. Для автоматизации этой стадии в комплексе предусмотрен инструмент источников данных, который позволяет легко настраивать подсоединение к внешним СУБД, таким как Oracle или MS SQL Server, по протоколам OLE DB, ODBC и dbExpress, загружать файлы форматов MS Excel, CSV и DBF. Также предусмотрен инструмент разбора текстовых файлов на основе задаваемых разработчиком шаблонов. На этом этапе выполняется первичная автоматическая проверка данных, в частности проверка соответствия типов.

На втором этапе данные из временного хранилища переносятся в постоянное или полупостоянное хранилище с замещением или синхронизацией уже существующих записей в зависимости от характера данных. На этом этапе осуществляет проверка целостности поступивших данных и их соответствия бизнес-логике. Для автоматизации этой стадии процесса пользователь может настроить приемники загрузки при помощи соответствующего редактора. Данный редактор (рис 3.1 и 3.2) позволяет выбрать из набора вариантов обработки поступивших данных и реагирования системы на возникающие в процессе работы ошибки. При необходимости разработчик также может задать собственный обработчик в виде блок PL-SQL кода.


Рис. 3.1 Редактор приемников загрузки


Рис. 3.2 Редактор приемников загрузки

• Режим быстрой загрузки. Данный режим предназначен для ускоренной загрузки файлов большого объема (например, XLS файлы с количеством строк около миллиона) при помощи утилиты Oracle SQL Loader
• Режим прямой загрузки. Данный режим позволяет загружать данные из XLS-файлов, имеющих определенную структуру непосредственно в справочники без создания промежуточных объектов загрузки (источники и приемники). Шаблоны файлов для прямой загрузки могут быть сгенерированы непосредственно в справочниках.
• Режим интерактивной загрузки. В данном режиме пользователь или администратор получает возможность контролировать процесс загрузки, просматривая загружаемые данные и результаты их проверки на предыдущей стадии. Здесь он может корректировать данные, пополнять системные справочники для добавления неклассифицированных значений, а также выборочно помечать строки для загрузки. Также может быть настроено хранение данных в разрезе версий. При этом загрузка в "нулевую" версию – полупостоянное хранилище, по содержимому которого, тем не менее, возможно построение всех необходимых отчетов для возможности максимально полной проверки данных. Перенос же данных в одну из утвержденных версий осуществляется только после того, как пользователь будет удовлетворен их качеством.
  
  

Загрузка данных может осуществляться в автоматическом режиме при помощи заданий системы, отслеживающих поступление файлов или наступление иных системных событий. По результатам загрузки данных формируются журналы событий, доступные для просмотра пользователю. Также информация о статусе загрузки может рассылаться по электронной почте или внутренней системе сообщений ПрограмБанк.БизнесАнализ.