Огляд методів асиміляції даних для уточнення результатів моделей розповсюдження забруднень після аварійних викидів
DOI:
https://doi.org/10.34121/1028-9763-2025-1-113-123Ключові слова:
асиміляція даних, машинне навчання, нейронні мережі, ансамблевий фільтр КалманаАнотація
Асиміляція даних (DA) є важливою задачею в прогнозуванні забруднень, оскільки вона дозволяє інтегрувати спостереження з моделями, покращуючи точність прогнозів поширення забруднювачів в атмосфері, океані та на суші. Це особливо важливо для оцінки впливу аварійних викидів і управління екологічними ризиками. У статті здійснено огляд та порівняння чотирьох різних методів асиміляції даних у задачі розповсюдження забруднень після аварійних викидів. Методи містять у собі ансамблевий фільтр Калмана (EnKF), ансамблевий згладжувач (ES) та два нових підходи, що базуються на композиції з машинним навчанням (ML). Обґрунтовано математичну складову та проаналізовано переваги і недоліки кожного з них. Ансамблеві методи асиміляції даних, зокрема EnKF, є обчислювально ефективними та можуть давати хороші результати навіть у нелінійних моделях. Вони потребують менше ресурсів порівняно з класичними методами, зберігаючи важливу інформацію при обмеженому розмірі ансамблю. Однак їхнім недоліком є гаусове наближення, що може призвести до числових нестабільностей і нефізичних результатів у задачах із негаусівським розподілом. Крім того, необхідність численних перезапусків може збільшити обчислювальні витрати. Альтернативою є ES, який не потребує рекурсивних оновлень і скорочує час моделювання, але може давати гірші результати в деяких задачах, хоча його обчислювальна ефективність вища. Розглянуто два гібридних методи, що поєднують асиміляцію даних із машинним навчанням: перший полягає в корекції тенденцій або резольвенти, що має композиційну природу і показує кращі результати на типових задачах у порівнянні з аналогічними методами без корекцій, другий полягає в нейронній мережі з нестандартною функцією втрат. Обидва методи продемонстрували здатність коригувати модельні похибки та враховувати зміщення в прогнозах. Гібридні підходи, що комбінують традиційні методи асиміляції з машинним навчанням, забезпечують високу точність, знижуючи кількість циклів DA-ML.
Посилання
1. Nychka D., Anderson, J.L. Data Assimilation. Handbook of Spatial Statistics / A. Gelfand, P. Diggle, P. Guttorp, M. Fuentes (eds.). New York, NY: Chapman & Hall/CRC, 2010. P. 477–492.
2. Katzfussa M., Stroudb J.R., Wiklec C.K. Understanding the Ensemble Kalman Filter, The american statistician, 2016. Vol. 70., P. 350–357. DOI: https://doi.org/10.1080/00031305.2016.1141709.
3. Kovalets I., Kim K.O., Shrubkovsky O., Maderich V. Ensemble Data Assimilation of Concentration Measurements Following the Accidental. Release of a Contaminant in the Ocean: Method Testing in an Idealized Setting, Pure Appl. Geophys., 2022. DOI: https://doi.org/10.1007/s00024-022-02990-5.
4. Tippett M.K., Cohn S.E., Todling R., Marchesin D. Low-dimensional representation of error covariance. Tellus, 2000. Vol. 52 (A). P. 533–553.
5. Thomas M. Hamill, Ensemble-Based Data Assimilation. NOAA-CIRES Climate Diagnostics Center, Boulder, Colorado USA, 2002. P. 83–123.
6. Sakov P., Oke P.R. A deterministic formulation of the ensemble Kalman filter: an alternative to ensemble square root filters. Tellus, 2008. Vol. 60A. Р. 361–371.
7. A comprehensive review on ensemble deep learning: Opportunities and challenges, Ammar Mohammed and Rania Kor. Journal of King Saud University – Computer and Information Sciences. 2023. P. 757–774. DOI: https://doi.org/10.1016/j.jksuci.2023.01.014.
8. Evensen G. Sequential data assimilation with a nonlinear quasi-geostrophic model using Monte Carlo methods to forecast error statistics. Journal of Geophysical Research: Oceans. 1994. N 99 (C5). Р. 10143–10162.
9. Kalman R.E. A new approach to linear filtering and prediction problems. Journal of Basic Engineering. 1960. Vol. 82 (1). P. 35–45. DOI: https://doi.org/10.1115/1.3662552.
10. Snyder C., Bengtsson T., Bickel P., Anderson J.L. Obstacles to High-dimensional Particle Filtering. MonthlyWeather Review. 2008. N 136. P. 4629–4640.
11. Liu N., Oliver D.S. Critical Evaluation of the Ensemble Kalman Filter on History Matching of Geologic Facies. SPE Journal. 2005. N 6 (3). P. 344–367.
12. Xiaoyang Xia History-matching production data using ensemble smoother with multiple data assimilation: a comparative study, 2014. P. 1–78.
13. Daley R. Atmospheric data analysis. Cambridge University Press, 1991. P. 98–180.
14. Evensen G. Data Assimilation. The Ensemble Kalman Filter. Springer-Verlag, 2009. P. 71–92.
15. Stommel H. The westward intensification of wind-driven ocean currents. Transactions American Geophysical Union. 1948. Vol. 29 (2). P. 202–206.
16. Lawson C.R., Hanson R.J. Solving least squares problems. SIAM. 1995. P. 100–103.
17. Peter Jan Van Leeuwen, Data assimilation and inverse methods in terms of a probabilistic formulation. Monthly Weather Review. 1996. Vol. 124. P. 2898–2913.
18. Skjervheim J., Evensen G. An Ensemble Smoother for Assisted History Matching. SPE Journal. 2011. Vol. 5 (2). P. 412–423.
19. Pathak J., Subramanian S., Harrington P., Raja S., Chattopadhyay A., Mardani M., Kurth T., Hall D., Li Z., Azizzadenesheli K., Hassanzadeh P., Kashinath K., Anandkumar A. FourCastNet: A global datadriven high-resolution weather model using adaptive Fourier neural operators. 2022. URL: https://arxiv.org/abs/2202.11214.
20. Fan Z., Ghaddar B., Wang X., Xing L., Zhang Y., Zhou Z. Artificial intelligence for operations research: Revolutionizing the operations research process, 2024. P. 1–47. DOI: https://doi.org/ 10.48550/arXiv.2401.03244.
21. Jia X., Willard J., Karpatne A., Read J., Zwart J., Steinbach M., Kumar V. Physics guided RNNs for modeling dynamical systems: A case study in simulating lake temperature profiles. Proc. of the 2019 SIAM International Conference on Data Mining, Society for Industrial and Applied Mathematics. Philadelphia, PA, 2019. P. 558, 566. DOI: http://dx.doi.org/10.1137/1.9781611975673.
22. Watson P.A.G. Applying machine learning to improve simulations of a chaotic dynamical system using empirical error correction. Journal of Advances in Modeling Earth Systems. 2019. Vol. 11 (5). P. 1402–1417. DOI: https://doi.org/10.1029/2018MS001597.
23. Hsieh W.W., Tang B. Applying neural network models to prediction and data analysis in meteorology and oceanography. Bulletin of the American Meteorological Society. 1998. Vol. 79 (9). P. 1855–1870. DOI: https://doi.org/10.1175/1520-0477(1998)079<1855:ANNMTP>2.0.CO;2.
ISSN 1028-9763. Математичні машини і системи. 2025. № 1 123
24. Abarbanel H.D.I., Rozdeba P.J., Shirman S. Machine learning: Deepest learning as statistical data assimilation problems. Neural Computation. 2018. Vol. 30 (8). P. 2025–2055. DOI: https://doi.org/10.1162/neco_a_01094.
25. Bocquet M., Brajard J., Carrassi A., Bertino L. Data assimilation as a learning tool to infer ordinary differential equation representations of dynamical models. Nonlinear Processes in Geophysics. 2019. Vol. 26 (3). P. 143–162. DOI: https://doi.org/10.5194/npg-26-143-2019.
26. Bocquet M., Brajard J., Carrassi A., Bertino L. Bayesian inference of chaotic dynamics by merging data assimilation, machine learning. arXiv:2001.06270, 2020. P. 1–27. DOI: https://doi.org/10.48550/arXiv.2001.06270.
27. Farchi A., Bocquet M., Laloyaux P., Bonavita M., Malartic Q. A comparison of combined data assimilation and machine learning methods for offline and online model error correction. Journal of Computational Science. 2021. Vol. 55. P. 101468. URL: https://doi.org/10.1016/j.jocs.2021.101468.
28. Farchi A., Laloyaux P., Bonavita M., Bocquet M. Using machine learning to correct model error in data assimilation and forecast applications. Quarterly Journal of the Royal Meteorological Society. 2021. Vol. 147 (739). P. 3067–3084. ISSN 1477-870X. DOI: https://doi.org/10.1002/qj.4116. URL: http://dx.doi.org/10.1002/qj.4116.
29. Keller J.D., Potthast R. AI-based data assimilation: Learning the functional of analysis estimation. arXiv:2406.00390 [physics.ao-ph], 2024. Р. 1–16. DOI: https://doi.org/10.48550/arXiv.2406.00390.
30. Bollmeyer C., Keller J.D., Ohlwein C., Wahl S., Crewell S., Friederichs P., Hense A., Keune J., Kneifel S., Pscheidt I., Redl S., Steinke S. Towards a high-resolution regional reanalysis for the European CORDEX domain. Quarterly Journal of the Royal Meteorological Society. 2015. Vol. 141 (686). P. 1–15. DOI: https://doi.org/10.1002/qj.2486.
49
16Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
