Разработчики Esri выложили новую модель классификации, которая называется Prompt Based Segmentation. Она базируется на языковых моделях, которые могут принимать на вход как изображения, так и текст. Ее не нужно обучать, достаточно ввести текст с описанием того, что вы хотите найтие, указать изображение для классификации, и модель сгенерирует бинарную маску (нужный класс, все остальное). Опционально можно посмотреть карту вероятности, которая показывает численное измерение (от 0 до 1) уверенности модели в том, что данный пиксель относится к искомому классу.
Пример классификации древесной растительности в городе Алматы на базе снимков высокого разрешения (поиск по слову «trees»):
Как получить такой результат:
1) Установите библиотеки Deep Learning, если они у вас еще не установлены
2) Скачайте модель с сайта Living Atlas
3) Откройте инструмент Classify Pixels Using Deep Learning
Параметры инструмента, которые использовались для получения примера на скриншотах выше.
Prompt — нужно ввести текст с описанием того, что вы хотите классифицировать на снимке (например, «tree» или «water»).
Threshold — порог отсечения в диапазоне от 0 до 1. Модель оценивает все пиксели снимка на предмет вероятности принадлежность к классу и вы можете выбрать порог, начиная с которого пиксель будет отнесен к искомому классу. Порог нужно подбирать так, чтобы в результат попало то, что вам нужно.
Return probability raster — если вы укажает true, то в качестве результата модель выдаст не классифицированное изображение, а растр вероятности.
Test time augumentation — дополнительные подходы к классификации каждого фрагмента (модель поворачивает их, отражает, классифицирует и выбирает лучший вариант). Увеличивает время классификации, но также увеличивает ее точность.
Для чего можно использовать эту модель? Очевидные плюсы — минимальные трудозатраты и достаточно неплохие результаты классификации. Не нужно готовить обучающую выборку, не нужно обучать модель. С одними объектами она будет работать лучше, с другими хуже. Дообучать модель пока что нельзя. Также, эту модель можно использвовать для генерации заготовки для обучающей выборки, которую потом можно использовать для обучения других моделей. Это гораздо быстрее, чем цифровать обучающую выборку вручную.
Системные требования: ArcGIS Pro 3.x, модуль Image Analyst.
