ArcGIS Data Pipelines — это визуальное средство обработки данных (без необходимости писать код), которое упрощает интеграцию, подготовку и автоматизацию обработки данных для дальнейшего их использования для Веб картографии и анализа в корпоративной Веб ГИС ArcGIS Enterprise.

Ранее ArcGIS Data Pipelines можно было использовать в ArcGIS Online, однако с выходом ArcGIS Enterprise 12.1 это средство автоматизации обработки данных стало доступно для развёртывания в инфраструктуре предприятия на ОС Windows и Linux и теперь входит в состав ArcGIS Enterprise Advanced.

Доступное средство автоматизации обработки данных

Доступ к возможностям ArcGIS Data Pipelines осуществляется через специализированное веб-приложение, в котором, используя визуальный интерфейс с функцией перетаскивания, можно подключаться к различным источникам данных, применять инструменты подготовки данных и публиковать результаты в виде размещенного векторного слоя или таблицы.

Созданные в ArcGIS Data Pipelines конвейеры данных можно запускать по требованию или настроить регулярный запуск по расписанию для автоматизации, что позволяет сократить объем ручного труда и обеспечивает актуальность данных в корпоративной Веб ГИС.

В отличие от рабочих процессов обработки данных на основе скриптов, Data Pipelines обеспечивает визуальное отображение каждого этапа. Благодаря этому гораздо легче создавать, понимать и делиться рабочими процессами внутри компании.

Рабочий процесс конвейера обработки данных состоит из одного или нескольких входных данных (1), инструментов (2) и выходных данных (3). В этом примере JSON с официальной сайта со статистикой по рождаемости соединяется со слоем административного деления и сохраняется как отдельный слой.

Для контроля над рабочим процессом на каждом этапе можно просмотреть результаты обработки, включая атрибуты, геометрию и схему данных.

Независимо от того, нужно ли объединить разнородные наборы данных, очистить «грязные» данные или преобразовать файлы в слои объектов для картографирования и анализа, возможности ArcGIS Data Pipelines помогают тратить гораздо меньше времени на подготовку данных и больше — на последующий анализ и решение бизнес задач.

Всё это делает ArcGIS Data Pipelines универсальным инструментом для автоматизации широкого спектра рабочих процессов ГИС и бизнеса. Предлагаем познакомится с реальным опытом компаний, автоматизировавших свои бизнес задачи с помощью ArcGIS Data Pipelines.

Консалтинговая компания в сфере недвижимости KBC Advisors использовала ArcGIS Data Pipelines для автоматизации ручного процесса отслеживания существующих активов и земельных участков, что повысило точность данных и ускорило появление обновлённой информации в Веб ГИС.

Аналитики департамента парков округа Монтгомери использовали ArcGIS Data Pipelines для автоматизации ручного процесса обновления слоя парковых зон и активов, включая контакты ответственных чиновников, используемых для поддержки проведения необходимых ремонтов и обновлений в парках, что значительно повысило актуальность и точность данных.

Но на этом возможности не заканчиваются. Опираясь на тот же подход, вы можете реализовать и другие сценарии, например:

• настроить регулярный сбор метеоданных с внешнего сайта (JSON) для оперативного информирования полевых бригад и ведения архива наблюдений;
• сформировать слой с актуальной статистикой населения, загрузив JSON с открытого портала статданных и объединив его со слоем административного деления;
• ежедневно обновлять дашборд с информацией о ДТП за последнюю неделю, загружая данные из внешнего ArcGIS-сервиса, — для оперативного информирования руководителей и жителей города.
• формировать актуальные данные для интерактивного дашборда для руководства — например, для отслеживания KPI по регионам, эффективности работы подразделений или динамики продаж, настроив загрузку, объединение и агрегацию данных из нескольких систем.

Введение в ArcGIS Data Pipelines

Для быстрого знакомства с возможностями ArcGIS Enterprise 12.1 Data Pipelines посмотрите видео ролик. Ниже в этом блоге мы описали базовые концепции ArcGIS Data Pipelines.

Видео переведено и озвучено с использованием ИИ Яндекс. Также это видео доступно на нашем канате YouTube и VK

Подключение к исходным данным

Входные данные используются для загрузки информации в конвейер данных для последующей обработки. ArcGIS Data Pipelines может подключаться как к внешним источникам данных, так и к данным, хранящимся в корпоративной Веб ГИС ArcGIS Enterprise.

ArcGIS Data Pipelines поддерживает различные источники входных данных.

Эта версия ArcGIS Data Pipelines для ArcGIS Enterprise 12.1 поддерживает следующие типы входных данных:

• Файлы, загруженные в Веб ГИС или доступные по URL-адресу или через API-запрос;
• Файлы, хранящиеся в бакете Amazon S3 или в контейнере Microsoft Azure Storage;
• Таблицы из Google BigQuery или Snowflake;
• Слои объектов ArcGIS, включая как размещённые векторные слои объектов, так и слои со ссылками на внешние источники.

Со временем разработчики планируют добавить дополнительные источники входных данных, включая Databricks, а также реляционные базы данных, такие как PostgreSQL, SQL Server и Oracle.

С детальной информацией о настройке входных данных можно познакомиться в разделе справки Конфигурация набора данных.

Обработка данных

ArcGIS Data Pipelines включает необходимые инструменты для обработки данных, которые помогают создавать, объединять и форматировать векторные и табличные наборы данных без необходимости написания кода.

В ArcGIS Enterprise 12.1 эти инструменты сгруппированы по следующим категориям:

• Очистка (Clean): фильтрация по атрибутам, фильтрация по экстенту, выбор полей, удаление дубликатов, упрощение геометрии и обрезка.
• Построение (Construct): вычисление поля, создание геометрии и создание даты/времени.
• Форматирование (Format): обновление полей, разгруппировав вложенных записей, сопоставление полей, проецирование геометрии и сводная таблица. Например, можно конвертировать поле с датой и временем, перекодировать категорийные поля или сократить измерения в существующих полях.
• Интеграция (Integrate): соединение, слияние, агрегирование и суммарная статистика. Например, чтобы присоединить или добавить поля из другого источника.

В этом примере два набора данных объединяются с использованием ключевых полей из каждого набора данных. Также инструменты Data Pipelines позволяют объединять наборы данных на основе пространственных или временных связей.

Чтобы узнать больше о существующих инструментах, обратитесь к разделу справки по обработке данных.

Запись результатов обработки

После применения инструментов обработки к входным данным, необходимо настроить один или несколько выходных слоёв. Когда вы запускаете конвейер обработки данных, он обрабатывает данные и создаёт или обновляет слои в ArcGIS Enterprise.

Выходной векторный слой позволяет определить, каким образом будут записываться результаты. Data Pipelines позволяет создать новый размещённый векторный слой, заменить данные в существующем слое или добавить и обновить имеющиеся записи.

ArcGIS Data Pipelines поддерживает запись данных в размещенный векторный слой или размещенную таблицу. Конвейер можно настроить на создание векторного слоя или таблицы, замену данных в существующем векторном слое или таблице, а также на добавление и обновление записей в существующем векторном слое или таблице. В будущем планируется расширить поддержку выходных форматов.

Чтобы узнать больше о записи результатов обработки, обратитесь к разделу документации Векторный слой.

Автоматизация запуска конвейера обработки данных

Работа с самыми актуальными данными имеет критическое значение, особенно в таких системах, как ArcGIS Enterprise, которые используются в поддержке повседневных бизнес-операций. ArcGIS Data Pipelines позволяет настроить автоматический запуск конвейеров обработки данных с определённой периодичностью, чтобы поддерживать данные в актуальном состоянии. Запуск задач можно планировать с использованием различных интервалов: от 15 минут до ежемесячных.

Настройка новой задачи обновления данных по расписанию, которая будет запускать конвейер раз в месяц первого числа.

Задачи можно создавать или обновлять непосредственно в редакторе конвейера обработки данных либо централизованно на странице запланированных задач. Для каждого запуска доступен просмотр истории: результаты, длительность выполнения, а также сообщения, сгенерированные в ходе выполнения конвейера.

Детальное описание настроек доступно в разделе документации Планирование задачи конвейера данных.

В будущих версиях планируется добавить возможности автоматизировать запуск конвейеров в ArcGIS Enterprise с помощью Microsoft Power Automate и ArcGIS API для Python.

Вопросы лицензирования и развертывания

ArcGIS Data Pipelines входит в состав лицензии ArcGIS Enterprise Advanced, начиная с версии ArcGIS Enterprise 12.1 и может быть развёрнут на ОС Windows и Linux. В будущем Data Pipelines будет доступен для развёртывания на Kubernetes.

Для настройки ArcGIS Data Pipelines администратору необходимо развернуть сайт Data Pipelines Server, настроить ArcGIS Web Adaptor и интегрировать его с ArcGIS Enterprise. Data Pipelines Server поддерживает горизонтальное масштабирование и может быть развёрнут на нескольких серверах для обеспечения работы большего числа активных авторов конвейеров данных, работающих в редакторе, или одновременного выполнения большего количества запланированных задач.

После настройки пользователи с типом пользователя Creator (Создатель) или GIS Professional и выше, обладающие соответствующими привилегиями, могут получить доступ к приложению Data Pipelines и начать создавать рабочие процессы и настраивать их автоматизацию. По умолчанию эти привилегии включены в роль Publisher (Издатель), Посредник (Facilitator) или Администратор (Administrator).

Дополнительная информация

Чтобы начать работу с ArcGIS Data Pipelines, ознакомьтесь с документацией и часто задаваемыми вопросами (FAQ).

Администраторам также рекомендуется изучить руководство по установке , раздел с описанием свойств системы, которые можно настраивать, а пользователям Data Pipelines — пройти это пошаговое руководство: Начало работы с ArcGIS Data Pipelines.