論文の概要: Distilling Machine Learning's Added Value: Pareto Fronts in Atmospheric Applications
- arxiv url: http://arxiv.org/abs/2408.02161v2
- Date: Sat, 18 Jan 2025 19:29:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:14:32.255658
- Title: Distilling Machine Learning's Added Value: Pareto Fronts in Atmospheric Applications
- Title（参考訳）: 機械学習の付加価値を蒸留する - 大気アプリケーションにおけるParetoフロントエンド
- Authors: Tom Beucler, Arthur Grundner, Sara Shamekh, Peter Ukkonen, Matthew Chantry, Ryan Lagerquist,
- Abstract要約: 気候モデル階層に触発されて、パレート最適モデルの完全な階層がモデル開発をガイドし、モデルの付加価値を理解するのに役立つことを提案する。
大気物理におけるパレートフロントの利用を3つのサンプルアプリケーションを用いて実証し、最小パラメータを持つ半経験的モデルから深層学習アルゴリズムまで多岐にわたる階層性を示す。
- 参考スコア（独自算出の注目度）: 0.3696370044051793
- License:
- Abstract: The added value of machine learning for weather and climate applications is measurable through performance metrics, but explaining it remains challenging, particularly for large deep learning models. Inspired by climate model hierarchies, we propose that a full hierarchy of Pareto-optimal models, defined within an appropriately determined error-complexity plane, can guide model development and help understand the models' added value. We demonstrate the use of Pareto fronts in atmospheric physics through three sample applications, with hierarchies ranging from semi-empirical models with minimal parameters to deep learning algorithms. First, in cloud cover parameterization, we find that neural networks identify nonlinear relationships between cloud cover and its thermodynamic environment, and assimilate previously neglected features such as vertical gradients in relative humidity that improve the representation of low cloud cover. This added value is condensed into a ten-parameter equation that rivals deep learning models. Second, we establish a machine learning model hierarchy for emulating shortwave radiative transfer, distilling the importance of bidirectional vertical connectivity for accurately representing absorption and scattering, especially for multiple cloud layers. Third, we emphasize the importance of convective organization information when modeling the relationship between tropical precipitation and its surrounding environment. We discuss the added value of temporal memory when high-resolution spatial information is unavailable, with implications for precipitation parameterization. Therefore, by comparing data-driven models directly with existing schemes using Pareto optimality, we promote process understanding by hierarchically unveiling system complexity, with the hope of improving the trustworthiness of machine learning models in atmospheric applications.
- Abstract（参考訳）: 天気や気候のアプリケーションに対する機械学習の付加価値は、パフォーマンス指標を通じて測定可能であるが、特に大規模なディープラーニングモデルでは、依然として難しい。
気候モデル階層に着想を得て,適切に決定された誤差・複雑度平面内で定義されたパレート最適モデルの完全な階層構造が,モデル開発をガイドし,モデルの付加価値を理解するのに役立つことを提案する。
大気物理におけるパレートフロントの利用を3つのサンプルアプリケーションを用いて実証し、最小パラメータを持つ半経験的モデルから深層学習アルゴリズムまで多岐にわたる階層性を示す。
まず、雲被覆パラメータ化において、ニューラルネットワークが雲被覆と熱力学環境の間の非線形関係を識別し、雲被覆の表現を改善する相対湿度の垂直勾配のような従来無視されていた特徴を同化することを発見した。
この付加価値は、ディープラーニングモデルに匹敵する10パラメータの方程式に凝縮される。
第2に、短波放射伝達をエミュレートする機械学習モデル階層を構築し、特に複数の雲層において、吸収と散乱を正確に表現するための双方向垂直接続の重要性を抽出する。
第3に,熱帯降雨と周辺環境の関係をモデル化する上で,対流組織情報の重要性を強調した。
本研究では,高分解能空間情報が利用できない場合の時間記憶の付加値について考察する。
したがって、Paretoの最適性を用いてデータ駆動モデルと既存のスキームを直接比較することにより、階層的にシステム複雑性を公表することでプロセス理解を促進し、大気アプリケーションにおける機械学習モデルの信頼性を向上させることを期待する。
関連論文リスト
- Prithvi WxC: Foundation Model for Weather and Climate [2.9230020115516253]
Prithvi WxCは、Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2)から160変数を用いて開発された23億のパラメータ基盤モデルである。
このモデルは、異なる位相の気象現象を微細な解像度でモデル化するために、大きなトークン数に対応できるように設計されている。
本稿では, 自動回帰ロールアウト予測, ダウンスケーリング, 重力波フラックスパラメータ化, エクストリームイベント推定など, 課題のある下流タスクのセットでモデルを検証する。
論文 参考訳（メタデータ） (2024-09-20T15:53:17Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。
我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。
我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
論文 参考訳（メタデータ） (2024-07-18T05:48:24Z) - Towards Physically Consistent Deep Learning For Climate Model Parameterizations [46.07009109585047]
パラメータ化は、気候予測において、系統的なエラーと大きな不確実性の主な原因である。
深層学習(DL)に基づくパラメータ化は、計算に高価で高解像度のショートシミュレーションのデータに基づいて訓練されており、気候モデルを改善するための大きな可能性を示している。
本稿では,DLに基づくパラメータ化のための効率的な教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-06T10:02:49Z) - Bidirectional Knowledge Reconfiguration for Lightweight Point Cloud
Analysis [74.00441177577295]
ポイントクラウド分析は計算システムのオーバーヘッドに直面し、モバイルやエッジデバイスでの利用を制限する。
本稿では,軽量点雲モデルのための特徴蒸留について検討する。
本研究では,教師から生徒への情報的文脈的知識を抽出するための双方向知識再構成を提案する。
論文 参考訳（メタデータ） (2023-10-08T11:32:50Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳（メタデータ） (2023-01-24T23:19:01Z) - Learning Low-Dimensional Quadratic-Embeddings of High-Fidelity Nonlinear
Dynamics using Deep Learning [9.36739413306697]
データから動的モデルを学ぶことは、エンジニアリング設計、最適化、予測において重要な役割を果たす。
深層学習を用いて高忠実度力学系に対する低次元埋め込みを同定する。
論文 参考訳（メタデータ） (2021-11-25T10:09:00Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。
我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
論文 参考訳（メタデータ） (2021-05-17T15:33:25Z) - Numerical Weather Forecasting using Convolutional-LSTM with Attention
and Context Matcher Mechanisms [10.759556555869798]
本稿では,高解像度気象データを予測するための新しいディープラーニングアーキテクチャを提案する。
我々の気象モデルは,ベースラインの深層学習モデルと比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2021-02-01T08:30:42Z) - Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。
このようなモデルをリアルタイム診断に利用しています。
論文 参考訳（メタデータ） (2020-03-04T00:44:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。