Объединение данных из множества источников, имеющих разные схемы данных, в новый целевой набор данных требует больших усилий, особенно при необходимости учитывать многочисленные подтипы и изменения в доменах.
Задачи преобразования схем данных возникают при необходимости приведения данных к единому стандарту, объединения разнородных наборов данных в один, при переходе к специализированной модели данных, например UPDM https://community.esri.com/docs/DOC-13587-updm-2019-edition или PODS Light https://www.pods.org/next-generation/pods-lite/, при миграции из геометрической сети в новую Utility Network и т.д.
Esri разработало специализированный набор инструментов Data Loading Tools, помогающий упростить процесс загрузки данных из множества источников в целевой набор данных и позволяющий выполнять преобразования схемы данных в процессе загрузки.
Набор инструментов Data Loading Tools включает в себя три инструмента:
- Append with Transformation
- Create Data Loading Workspace
- Execute Data Load
Инструмент Append with Transformation подходит для простых случаев. С его помощью можно загрузить один класс объектов или таблицу в целевой набор данных и использовать выражения Python для преобразования. Такой подход рекомендуется для загрузки небольшого количества исходных объектов, не содержащих подтипы или домены.
В тех случаях, когда есть несколько наборов данных, которые нужно загрузить в новый набор данных, существуют инструменты Data Loading. Этот подход рекомендуется применять для миграции небольшого или умеренного количества исходных объектов, включающих подтипы или домены, однако нет необходимости в сопоставлении ассоциаций или контроллеров подсетей (в случае миграции в Utility Network).
Инструмент Data Loading Workspace создает паку содержащую серию файлов Microsoft Excel, используемых для сопоставления данных.
Папка рабочего пространства содержит в себе файлы ресурсов и сопоставления. Файлы ресурсов создаются для облегчения сопоставления данных и включают книги Excel с доменами и примеры скриптов. Файлы сопоставления включают Справочник данных и Рабочие книги сопоставления данных, в которых будет выполняться большая часть работы по сопоставлению. Редактируя файлы Excel можно точно настроить сопоставление схемы данных исходных и целевых слоёв. Созданные файлы обеспечивают документирование процесса преобразования и всегда будут под руками при необходимости повторить или внести изменения в процесс загрузки.
После заполнения файлов Excel следующим шагом идёт загрузка данных из источника в целевую схему с помощью инструмента Data Loading.
В зависимости от качества или сложности данных рекомендуется работать с отдельными наборами данных и повторять процесс сопоставления и загрузки по мере необходимости.
Для работы с инструментами Data Loading Tools необходимы ArcGIS Pro 2.4 — 2.6 (Basic, Standard или Advanced) и Microsoft Excel 2016.
Инструкция по загрузке и подробная справка Data Loading Tools доступна на https://solutions.arcgis.com/shared/help/data-loading/
Отдельные инструкции по преобразованию и загрузке данных в модель данных Utility Network с использованием Data Loading Tools размещены на ресурсных страницах:
- Загрузка данных в Электросеть Utility Network
- Загрузка данных в Водораспределительная сеть Utility Network
Кроме этого познакомиться с Data Loading Tools можно посмотрев серию обучающих видео https://community.esri.com/community/data-loading-tools/blog/2020/05/12/the-data-loading-tools-video-series
В заключении хочется рассказать о инструментах Migration Tools. Этот усовершенствованный инструментарий рекомендуется для миграции больших объемов исходных данных и\или сложных наборов данных геометрической сетей в Utility Network. Инструменты Migration Tools в том числе позволяют сопоставлять ассоциации, контроллеры подсетей, генерируют список ошибок и т.д.
Для использования Migration Tools необходим дополнительный модуль ArcGIS Data Interoperability или FME.
Дополнительную информацию о Migration Tools можно узнать на https://bit.ly/30GYCJ0
