論文の概要: Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles

• arxiv url: http://arxiv.org/abs/2309.16177v3
• Date: Wed, 18 Dec 2024 00:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:45:30.490516
• Title: Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles
• Title（参考訳）: ノイズをナビゲートする:O(100)アンサンブルを用いたMLパラメータ化設計に明瞭さをもたらす
• Authors: Jerry Lin, Sungduk Yu, Liran Peng, Tom Beucler, Eliot Wong-Toi, Zeyuan Hu, Pierre Gentine, Margarita Geleta, Mike Pritchard,
• Abstract要約: サブグリッドプロセスの機械学習(ML)パラメータ化は、いつか従来のパラメータ化を置き換えるかもしれない。 オフラインとオンラインのパフォーマンスの関係の不確実性は、彼らの開発を妨げる。 オフラインエラーの体系的削減がオンラインエラーやオンライン安定性の変化にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 1.9199275795132604
• License:
• Abstract: Machine-learning (ML) parameterizations of subgrid processes (here of turbulence, convection, and radiation) may one day replace conventional parameterizations by emulating high-resolution physics without the cost of explicit simulation. However, uncertainty about the relationship between offline and online performance (i.e., when integrated with a large-scale general circulation model (GCM)) hinders their development. Much of this uncertainty stems from limited sampling of the noisy, emergent effects of upstream ML design decisions on downstream online hybrid simulation. Our work rectifies the sampling issue via the construction of a semi-automated, end-to-end pipeline for $\mathcal{O}(100)$ size ensembles of hybrid simulations, revealing important nuances in how systematic reductions in offline error manifest in changes to online error and online stability. For example, removing dropout and switching from a Mean Squared Error (MSE) to a Mean Absolute Error (MAE) loss both reduce offline error, but they have opposite effects on online error and online stability. Other design decisions, like incorporating memory, converting moisture input from specific humidity to relative humidity, using batch normalization, and training on multiple climates do not come with any such compromises. Finally, we show that ensemble sizes of $\mathcal{O}(100)$ may be necessary to reliably detect causally relevant differences online. By enabling rapid online experimentation at scale, we can empirically settle debates regarding subgrid ML parameterization design that would have otherwise remained unresolved in the noise.
• Abstract（参考訳）: サブグリッドプロセス(乱流、対流、放射)の機械学習(ML)パラメータ化は、明示的なシミュレーションのコストを伴わずに高分解能物理をエミュレートすることで、従来のパラメータ化を置き換えることができる。 しかし、オフラインとオンラインのパフォーマンスの関係(大規模な総合循環モデル(GCM)と統合した場合)に関する不確実性は、その発展を妨げる。 このような不確実性の多くは、上流のML設計決定が下流のオンラインハイブリッドシミュレーションに与える影響を限定的にサンプリングすることに起因する。 オンラインのエラーやオンラインの安定性の変化に対して,オフラインエラーの体系的削減がどのような変化を示すのか,重要なニュアンスを明らかにするため,本研究では,ハイブリッドシミュレーションの半自動エンドツーエンドパイプラインの構築を通じてサンプリング問題を修正している。 例えば、Mean Squared Error(MSE)からMean Absolute Error(MAE)の損失へのドロップアウトと切り替えはどちらもオフラインエラーを減らすが、オンラインエラーとオンライン安定性には逆の影響がある。 メモリの導入、特定の湿度から入力された水分の相対湿度への変換、バッチの正規化の使用、複数の気候でのトレーニングなど、その他の設計上の決定は、そのような妥協を伴わない。 最後に、オンラインで因果関係の差異を確実に検出するためには、$\mathcal{O}(100)$のアンサンブルサイズが必要であることを示す。 大規模なオンライン実験を迅速に行えるようにすることで、ノイズの中で未解決のままであったサブグリッドMLパラメータ化設計に関する議論を経験的に解決することができる。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Towards Physically Consistent Deep Learning For Climate Model Parameterizations [46.07009109585047]
  パラメータ化は、気候予測において、系統的なエラーと大きな不確実性の主な原因である。 深層学習(DL)に基づくパラメータ化は、計算に高価で高解像度のショートシミュレーションのデータに基づいて訓練されており、気候モデルを改善するための大きな可能性を示している。 本稿では,DLに基づくパラメータ化のための効率的な教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:02:49Z)
• Joint Parameter and Parameterization Inference with Uncertainty Quantification through Differentiable Programming [0.20530463088872453]
  本研究では,物理パラメータと不確実な定量化を伴う機械学習パラメータ化を共同で推定するための新しいフレームワークを提案する。 本フレームワークは,高次元パラメータ空間内でのオンライン学習と効率的なベイズ推論を,微分可能プログラミングにより促進する。
  論文  参考訳（メタデータ） (2024-03-04T17:02:23Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• ClimSim-Online: A Large Multi-scale Dataset and Framework for Hybrid ML-physics Climate Emulation [45.201929285600606]
  我々は、ハイブリッドML物理シミュレータを開発するためのエンドツーエンドワークフローを含むClimSim-Onlineを提案する。 データセットはグローバルで、高いサンプリング頻度で10年間にわたっています。 MLモデルを運用環境シミュレータに統合するための、クロスプラットフォームでコンテナ化されたパイプラインを提供します。
  論文  参考訳（メタデータ） (2023-06-14T21:26:31Z)
• Environment Transformer and Policy Optimization for Model-Based Offline Reinforcement Learning [25.684201757101267]
  本研究では環境変換器と呼ばれる不確実性を考慮したシーケンスモデリングアーキテクチャを提案する。 遷移力学と報酬関数の正確なモデリングにより、環境変換器は任意の計画、動的プログラミング、オフラインRLのためのポリシー最適化アルゴリズムと組み合わせることができる。
  論文  参考訳（メタデータ） (2023-03-07T11:26:09Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Real-time simulation of parameter-dependent fluid flows through deep learning-based reduced order models [0.2538209532048866]
  還元次数モデル (ROM) はパラメータ依存の流体力学問題を高速に近似する。 ディープラーニング(DL)ベースのROMは、非線形トライアル多様体と還元力学の両方を非侵襲的に学習することで、これらの制限をすべて克服する。 得られたPOD-DL-ROMは、シリンダーベンチマークの周囲の流れ、固定された剛性ブロックに付着した弾性ビームとラミナー非圧縮性フローとの流体構造相互作用、大脳動脈瘤内の血流のほぼリアルタイムに正確な結果をもたらすことが示されている。
  論文  参考訳（メタデータ） (2021-06-10T13:07:33Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。