Наукастинг (nowcasting) и сверхкраткосрочные прогнозы погоды очень важны.
Как менялась Яндекс.Погода: от виджета до погодных карт
Перенос запуска ракеты из-за порывов ветра обходится в огромную сумму порядка нескольких млн. Примеров можно привести множество, суть ясна. Точность кратко- и среднесрочных прогнозов выше, чем долгосрочных. Да-да, именно такую! Здесь сейчас полетят яйца и помидоры в сторону гидрометеорологической службы. Начнутся возгласы: всё враньё, постоянно беру зонт, когда по прогнозу дождь, а его нет, а когда не беру, на улице град по макушке бьёт.
Мы уже рассказывали, как Яндекс. Погода делает сверхкраткосрочный прогноз осадков по метеорологическим радарам и спутниковым наблюдениям. Сегодня расскажем, как нам удалось поднять качество такого прогноза за счет внедрения нейросетевых подходов и почему мы уже отказывались от них в прошлом. А ещё вы узнаете, как мы улучшали визуальное восприятие самой карты на границе радарных и спутниковых наблюдений. И снова про наукастинг Когда мы говорим о прогнозе погоды, то чаще всего подразумеваем температуру и осадки, например, на завтра или ближайшие выходные. В этом случае хватает традиционных погодных трендов. Но если вы идёте обедать на улицу или на прогулку с ребёнком и при этом не хотите попасть под дождь, то важно знать точный момент начала дождя в течение ближайшего получаса. В таких ситуациях приходит на помощь наша карта осадков aka nowcasting. Рисунок 1.
Сейчас с ее помощью можно планировать не только несколько часов, а весь остаток дня и следующий. Скажем, если нужно выбрать место для съемок на природе, легко посмотреть, где завтра не ожидается снега и дождя. Обновленная карта осадков будет полезна и бизнесу: например, ресторанам или службам доставки, загрузка которых зависит, в том числе, от погоды. На карте они могут увидеть, как будет меняться ситуация.
Мониторинг метеорологических условий и состояния поверхности дорог Контроль качества данных Формирование и передача сообщений в ИТС Контроль состояния поверхности дорог коэффициент сцепления Специализированный прогноз зимней скользкости на 4 часа Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Подготовка рекомендаций по количеству внесения реагента Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Наукастинг осадков по данным ДМРЛ на 2 часа Мониторинг состояния автомобильных дорог, рекомендации по обработке Наукастинг осадков по данным ДМРЛ на 2 часа Специализированный прогноз зимней скользкости Для специализированного прогноза зимней скользкости используются: Численная гидротермодинамическая модель пограничного слоя атмосферы Данные дорожных метеостанций.
Прогноз наукастинга для городов запустил Казгидромет
На карте анимации ветра вы наглядно увидите движение атмосферного воздуха, на ней также хорошо видны атмосферные вихри, такие как циклоны, тайфуны и ураганы. На карте температуры вы увидите прогнозируемое распределение тепла и холода в приземном слое атмосферы. Карта атмосферного давления считается одной из главных в метеорологии, на ней хорошо видны циклоны, антициклоны, барические гребни, ложбины и малоградиентные поля. На карте качества воздуха вы увидите области как с чистым воздухом, так и области загрязнения воздуха различными примесями по европейскому стандарту CAQI: 0 - воздух абсолютно чистый, 100 - воздух крайне загрязнен.
Задача нейронной сети — спрогнозировать значения ошибок на основе входных данных радарных наблюдений. Рассмотрим применение второго типа нейронных сетей. Работа с данными В качестве исходных данных имеем следующее: Input — Объединенные поля радиолокационных наблюдений. Регион: Центральный федеральный округ. Период испытаний: июнь — сентябрь 2020 г.
Рисунок 1. Содержание файлов. Предварительная обработка файлов заключает в себя следующие этапы: Преобразование данных в виде матрицы в одномерные массивы длинной в 25 элементов Имена файлов преобразуются в формат ДД. ММ Для файлов из папки output к дате прибавляется три часа Далее из папки input удаляются все файлы, имен которых нет в папке output так как некоторые прогнозы отсутствуют. Предыдущий шаг повторяется для output После этого создаются файлы в папке error, значения которых равны input — output. Значения берутся по модулю.
При этом можно интерпретировать кадр как обычную картинку и свести задачу к работе с видеоизображением. Рисунок 2. Пример изображений с метеорологического радара. Вверху: пример входных кадров для модели. Внизу: ожидаемые кадры во время предсказания. Здесь , а Мы предсказываем на два часа вперёд с шагом 10 минут. Это 12 кадров плюс ещё несколько про запас на случай перебоя в поставке данных с радара. Чаще всего решение такой задачи сводится либо к применению алгоритмов optical flow 1 , 2 , 3 , либо к нейросетевым методам 1 , 2 , 3 , 4 , 5 , 6. Долгое время в продакшене у нас работал алгоритм на основе optical flow, который мы смогли натюнить таким образом, что он побил по метрикам нашу предыдущую нейросетевую архитектуру.
На карте температуры вы увидите прогнозируемое распределение тепла и холода в приземном слое атмосферы. Карта атмосферного давления считается одной из главных в метеорологии, на ней хорошо видны циклоны, антициклоны, барические гребни, ложбины и малоградиентные поля. На карте качества воздуха вы увидите области как с чистым воздухом, так и области загрязнения воздуха различными примесями по европейскому стандарту CAQI: 0 - воздух абсолютно чистый, 100 - воздух крайне загрязнен. На сайте «Метеосервис.
Как мы делали краткосрочный прогноз осадков. Лекция в Яндексе
Краткосрочный прогноз погоды КПП — это прогноз, заблаговременность которого не превышает 3 суток 72 часа. Аналогичное определение можно дать для среднесрочных с поправкой на время. Кроме того, в краткосрочных прогнозах можно выделить сверхкраткосрочные, их заблаговременность не превышает 12 часов. За рубежом в сверхкраткосрочных прогнозах выделяют ещё прогноз текущей погоды, или наукастинг nowcasting. Его заблаговременность составляет от нескольких минут до 6 часов. Обычно наукастинг и сверхкраткосрочный прогноз тоже активно используется в аэропортах, морских портах, космодромах, во время олимпийских игр.
Задача была именно в том, чтобы разработать продукт, который бы совмещал в себе и уведомления, и карту осадков. Требовался прогноз осадков на будущей карте, плывущие облачка. Полтора года назад, когда мы начинали, у нас не было ничего, кроме данных. В отличие от участников на Kaggle, у нас не было никакой фиксированной метрики, никаких baseline-решений. Единственное, что было, — постоянная гонка технологий, в которой мы хотели обогнать сами себя. Первое решение — просто День сурка. Обогнать прогноз, решить, что завтра будет то же самое, что и вчера. А следующая модель должна улучшать показания предыдущей. Что нужно для прогноза осадков? Нужны данные, радарные снимки. Нужно понимать, как в атмосфере движутся частицы, какие ветра дуют и как применять это движение к частицам. Расскажу про все три составляющих прогноза. Первое — радарные снимки. Они бывают очень разных форматов и поступают от очень разных поставщиков. Это и просто отдельные картинки в PNG, с договоренностью, что цветом с таким-то кодом обозначается такая-то интенсивность отраженного сигнала. Либо — научный формат NetCDF. Радары сильно отличаются по частоте обновления. Бывают радары, которые обновляются раз в 10 минут, раз в 15 минут. Самое ужасное, что данные с радаров — в отличие от относительно чистых данных для соревнований — содержат артефакты. Радары работают на физических принципах, на отражении волны, так что у них бывают слепые зоны. Причем когда маленькие фрагменты зоны видимости радиально закрыты зданиями — это еще далеко не самый тяжелый случай. Бывают и сделанные людьми артефакты. Например, в период бета-тестирования мы столкнулись с человеком, который купил себе Wi-Fi-точку, неправильно настроил на ней частоту и номер канала, после чего выставил ее в окно. В результате у нас над Иваново висел огромный лазерный меч в виде облака. Мы видели его на карте и ничего не могли с ним поделать, пока не вызвали Частотнадзор. Пожалуйста, если покупаете Wi-Fi-точки где-то в Китае, настраивайте их на российские частоты. Кроме радарных данных, надо еще откуда-то взять векторное поле. Принципиально его можно взять всего из двух мест: либо проанализировав предыдущие радарные снимки и применив, скажем, алгоритмы оптического потока, либо из каких-то других источников. Например, можно воспользоваться метеомоделированием и результатом работы того же ОРФ или Метеума. Берем поле ветров и с его помощью переносим картинки, которые возвращает радар. Оба способа получения векторных полей имеют недостатки. Оптический поток нельзя посчитать в местах, где не летит облако. Там не от чего отражаться радарному лучу, и нет никаких данных о скорости воздуха и направлении движения. Метеомоделирование может не совпадать с реальностью.
Морозы немного ослабеют, в дальнейшем Центральный федеральный округ. Сибирский федеральный округ. На Сахалине 6-9 января аномально холодная погода, 7 января на юге сильный снег.
Это выражение было впервые произнесено как раз в связи с прогнозом погоды. Американский математик Эдвард Лоренц сказал, что взмах крыльев бабочки в штате Айова может привести к сезону дождей в Индонезии. Что такое наукастинг Ответить на вопрос, будет ли дождь, вроде бы несложно, если мы видим с вышки метеостанции целое скопление дождевых облаков, которые двигаются в определённом направлении. Но почему-то по одной стороне реки проходит ливень, в котором плавают автомобили, а в пяти километрах от тех мест под страшные раскаты грома на землю падают всего три капли. Те, кто живёт неподалёку от моря, наверное, замечал, что над морем дождь идёт чаще, чем над сушей. Секрет прост: море остужает плывущие к нему с суши облака, и капли, конденсируясь, собираются в более крупные, превращая облако в тучу. То есть вышло так, что тучи сгустились, остыли и пролились на подходе к берегу широкой реки, так и не успев «переплыть» на другой берег. Как говорится, прогноз был просчитан точно, но «что-то пошло не так». А ещё учёные давно заметили, что дожди чаще идут там, где высоко над землёй на несколько километров поднимается облако мелкой пыли, например, от резиновых частиц шин скоростных шоссе. Эти частицы попадают в облака и вызывают скопление и рост капель. Получается, что люди не только изучают погоду, но во многих случаях и создают её. Чем дальше по времени мы хотим заглянуть вперёд, тем меньше точность предсказаний. Наиболее достоверный прогноз получил название «nowcast». Наукастинг — это сверхкраткосрочный прогноз, на 2—5 часов вперёд. Как ни странно, именно он получил самый высокий спрос в мире и является высоко востребованным коммерческим продуктом. Планирование своего досуга всего на несколько ближайших часов оказалось очень актуальным запросом. Ехать ли на природу с семьёй, пойти ли кататься на лыжах в горы, уйти под парусом в море или лучше остаться дома — для миллионов людей все эти вопросы каждые выходные требуют гарантированно достоверного ответа. Когда посреди замёрзшего моря в 30 км от берега кайтеру спортсмену на горных лыжах с тяжёлым парусом внезапно «выключают ветер», он рискует вернуться домой пешком только поздней ночью. С этой целью кайтеры, любители яхтинга и других видов спорта, связанных с ветром, пользуются специальными программными приложениями, где собрана актуальная информация с радаров, спутников и ближайших метеостанций. Самые высокие требования к детализации и точности метеорологических прогнозов требуют спортивные соревнования — Олимпийские игры. И последнее, пожалуй, важнейшее преимущество наукастинга — это способность очень точно прогнозировать опасные природные явления — ураганы, тайфуны, цунами, —которые сжаты во времени и пространстве и требуют оперативного оповещения. Космическая погода Сегодня над расчётами прогнозов погоды трудятся отдельные институты, оснащённые суперкомпьютерными системами, которые превращают большие массивы спутниковых данных, информации с метеостанций и обсерваторий в упорядоченные таблицы и красивые картинки. Правда, на картинках Земли из космоса видны не только атмосферные циклоны, но и горящие леса и гигантские массивы дыма и смога над многими участками нашей планеты.
А можно поточнее? Как делается прогноз погоды и можно ли его улучшить?
Смотрите карты погоды высокого разрешения с центром в Спутнике с почасовыми прогнозами погоды осадков, облачности, анимации ветра, температуры, атмосферного давления и индекса качества воздуха. Об этом сообщает РИА Новости со ссылкой на данные Росгидрометцентра. Высота осадков составила 20 мм. Система наукастинга позволяет зафиксировать момент зарождения опасного явления и тогда спрогнозировать на два часа траекторию его перемещения, усиления или, наоборот, рассеивания энергии. И снова про наукастинг Когда мы говорим о прогнозе погоды, то чаще всего подразумеваем температуру и осадки, например, на завтра или ближайшие выходные.
Яндекс научился предсказывать осадки на ближайшие 2 часа
высокоточным прогнозам на несколько часов - в зоне действия девяти радаров (Кострома, Нижний Новгород, Валдай, Внуково, Воейково, Тула, Смоленск, Брянск, Курск). Точнее, ещё точнее: прогноз погоды на 2 часа, наукастинг и карты погоды. В ближайшие 2 часа осадков не ожидается. 022. Прогноз осадков на два часа — Алексей Преображенский. За полтора часа в центре Москвы выпала почти треть апрельской нормы осадков, заявила в беседе с РИА Новости ведущий сотрудник Гидрометцентра России Марина Макарова. Наукастинг осадков на 2 часа. Радар осадков и гроз.
Синоптик Вильфанд: около 30% месячной нормы осадков выпало в Москве за час
Смотрите карты погоды высокого разрешения с центром в Спутнике с почасовыми прогнозами погоды осадков, облачности, анимации ветра, температуры, атмосферного давления и индекса качества воздуха. Радарный наукастинг осадков Анимированная карта явлений погоды за последние 3 часа по данным радарных наблюдений (подготовлено Центральной аэрологической обсерваторией). В настоящее время существует ряд алгоритмов по обнаружению осадков и приблизительной оценке их интенсивности, однако результаты их работы не применяются для решения задачи наукастинга.
Антициклон на Урале сменит циклон: синоптики спрогнозировали «погодный калейдоскоп»
| Арбат, Москва | Такой прогноз называется наукастинг, обычно он делается на ближайшие часы (до 2-6 часов вперед). |
| Карты погоды в Спутнике – карты осадков, ветра, температуры, давления и качества воздуха | Прогноз осадков на 2 часа (наукастинг). Согласно прогнозу, который озвучил ведущий специалист центра погоды «Фобос» Евгений Тишковец, первый весенний месяц будет холодным – усилятся морозы, будет идти снег. |
| Предоставляем метео данные | Наукастинг — это сверхкраткосрочный прогноз, на 2–5 часов вперёд. |
Росгидромет: в Москве за полтора часа выпала треть месячной нормы осадков
Барические системы с именами Подробнее о проекте На сегодняшний день практически каждый метеолюбитель имеет в своём распоряжении ряд сайтов, которыми пользуется, наблюдая за погодной обстановкой. Представленная выше подборка ресурсов включает в себя как наиболее популярные сайты, которыми пользуются практически все метеолюбители, так и ряд более специализированных ресурсов, находящихся в почёте у профессионалов. Спутниковые снимки Спутниковые снимки облачности позволяют оценить состояние облачного покрова на обширной территории в целом, выявить некоторые его структурные особенности, а также направление движения облачности разных ярусов. Особенно важны наблюдения за кучево-дождевой облачностью, поскольку с нею связаны такие явления, как грозы, шквалы, ливни, град, торнадо, и в ряде случаев они носят локальный характер.
Работа с данными В качестве исходных данных имеем следующее: Input — Объединенные поля радиолокационных наблюдений. Регион: Центральный федеральный округ.
Период испытаний: июнь — сентябрь 2020 г. Рисунок 1. Содержание файлов. Предварительная обработка файлов заключает в себя следующие этапы: Преобразование данных в виде матрицы в одномерные массивы длинной в 25 элементов Имена файлов преобразуются в формат ДД. ММ Для файлов из папки output к дате прибавляется три часа Далее из папки input удаляются все файлы, имен которых нет в папке output так как некоторые прогнозы отсутствуют.
Предыдущий шаг повторяется для output После этого создаются файлы в папке error, значения которых равны input — output. Значения берутся по модулю. Создание тестовой модели В качестве оптимизатора был использован Adamax Количество эпох: 200 В качестве функции потерь и валидации использовалась среднеквадратичная ошибка MSE В структуре сети применяется слой нормализации данных и Dropaut — слои [5]. Архитектура нейронной сети изображена на рисунке 2.
Жертвами стихии стали четыре человека. Еще 10 пропали без вести. Из затопленных районов эвакуировали около 100 тысяч жителей. Наводнение стало сильнейшим за полвека.
Мониторинг метеорологических условий и состояния поверхности дорог Контроль качества данных Формирование и передача сообщений в ИТС Контроль состояния поверхности дорог коэффициент сцепления Специализированный прогноз зимней скользкости на 4 часа Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Подготовка рекомендаций по количеству внесения реагента Прием данных от прогностических центров Расчет статистических характеристик на основе архивных данных Наукастинг осадков по данным ДМРЛ на 2 часа Мониторинг состояния автомобильных дорог, рекомендации по обработке Наукастинг осадков по данным ДМРЛ на 2 часа Специализированный прогноз зимней скользкости Для специализированного прогноза зимней скользкости используются: Численная гидротермодинамическая модель пограничного слоя атмосферы Данные дорожных метеостанций.
Синоптики: на Москву за сутки выпадет 30% месячной нормы осадков
| Nowcasting (meteorology) - Wikipedia | Прогноз осадков на 2 часа (наукастинг). Согласно прогнозу, который озвучил ведущий специалист центра погоды «Фобос» Евгений Тишковец, первый весенний месяц будет холодным – усилятся морозы, будет идти снег. |
| Прогноз осадков на 2 часа (наукастинг) | Прогноз осадков на 2 часа (наукастинг). Согласно прогнозу, который озвучил ведущий специалист центра погоды «Фобос» Евгений Тишковец, первый весенний месяц будет холодным – усилятся морозы, будет идти снег. |
| Как менялась Яндекс.Погода: от виджета до погодных карт | Яндекс.Погода | Дзен | В итоге получается своеобразный ультракраткосрочный прогноз или наукастинг — на ближайшие два часа с шагом в десять минут. |
| Почти треть месячной нормы осадков выпала за 1,5 часа в Москве — 27.04.2024 — В России на РЕН ТВ | Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений. |