Дата-сайентисты Clover Group взяли «серебро» на Kaggle “Severstal: Steel Defect Detection”

Команда Clover Group приняла участие в соревновании Kaggle «Severstal: Steel Defect Detection», организованное горнодобывающей и металлургической компанией Северсталь. Дата-сайентистам предстояло улучшить алгоритм компьютерного зрения, чтобы помочь инженерам находить и классифицировать поверхностные дефекты на стальном листе.

Цель Северстали — совершенствование качества собственной продукции. Компания поставила задачу по обнаружению дефектов на изображениях стальных листов. Участникам соревнования необходимо было обучить алгоритм находить 4 типа дефектов, вид и характеристики которых были анонимизированы. Для этого конкурсантам предоставили 12568 изображений для обучения и 1801 для тестирования модели на Leaderdoard-е с размерностью 256×1600.

В простом случае задача решается построением одной модели сегментации с использованием сверточных нейронных сетей, но команда Clover Group разделила ее на две подзадачи. Первая, состояла в реализации алгоритма классификации, который предсказывал факт наличия дефекта на изображении. Во второй подзадаче на изображениях, обозначенными классификатором как аномальными, применялась модель сегментации, которая уже локализовывала дефект на изображении.

Каждый участник команды решал обозначенные подзадачи самостоятельно. Подходы отличались акцентами на анализе изображения в целом и разделении изображения на более мелкие части, crop-ы, размером 256×320. Среди общих подходов можно выделить: использование аугментации для увеличения выборки для обучения, использование архитектуры EfficientNet в качестве основы для моделей, реализация дополнений к метрики dice.

Модель классификатора
Модель № 1:
1) Входное изображение 256×1600.
2) Архитектура EfficientNet_b0.
3) Функция потерь BSE.
4) Оптимизатор Adam.
5) Кросс-валидациия по 5 фолдам.

Модель № 2:
1) Входное изображение 256×320.
2) Архитектура EfficientNet_b0.
3) Функция потерь BSE.
4) Оптимизатор Rectified Adam.
5) Кросс-валидациия по 5 фолдам.

Модель сегментатора
Модель № 1:
1) Входное изображение 256×1600.
2) Архитектура FPN на базе EfficientNet_b5.
3) Функция потерь BSE.
4) Оптимизатор Adam.
5) Кросс-валидациия по 5 фолдам.

Модель № 2:
1) Входное изображение 256×320.
2) Архитектура Unet на базе EfficientNet_b7.
3) Функция потерь Dice_loss.
4) Оптимизатор Rectified Adam.
5) Кросс-валидациия по 5 фолдам.

При разработке не помогли Pseudo-Labeling, когда изображения из тестовой выборки используются для обучения модели, и Test Time Augmentation, когда аугментация применяется при предсказании тестовых данных.

Итоговое решение состояло из объединения двух моделей классификаторов и модели сегментатора на полных картинках. Объединению двух сегментаторов помешали ограничения на время при сабмите решения.

По результатам соревнования команда Clover Group заняла 51 место на скрытой части Leaderdoard-а из 2434 участвовавших команд. При этом, решение не показало падения при открытии скрытой части Leaderdoard-а, что указывает на его стабильность и отсутствие переобучения.

CLOVER GROUP (ГК «Ctrl2GO») — российский разработчик решений в области прогнозного обслуживания для транспортной отрасли, металлургии, горнорудной отрасли, энергетики, нефтегаза. Цифровая платформа Clover и комплексные цифровые решения компании для индустрий трансформируют промышленные предприятия с помощью технологий искусственного интеллекта. Компания сотрудничает с крупнейшими предприятиями России, СНГ, Европы, Ближнего Востока и Азии в области применения прогнозной аналитики, а также ведущими научными и образовательными учреждениями. Разработки компании включены в Единый реестр отечественного ПО.