論文の概要: Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles
- arxiv url: http://arxiv.org/abs/2309.16177v3
- Date: Wed, 18 Dec 2024 00:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:45:30.490516
- Title: Navigating the Noise: Bringing Clarity to ML Parameterization Design with O(100) Ensembles
- Title（参考訳）: ノイズをナビゲートする:O(100)アンサンブルを用いたMLパラメータ化設計に明瞭さをもたらす
- Authors: Jerry Lin, Sungduk Yu, Liran Peng, Tom Beucler, Eliot Wong-Toi, Zeyuan Hu, Pierre Gentine, Margarita Geleta, Mike Pritchard,
- Abstract要約: サブグリッドプロセスの機械学習(ML)パラメータ化は、いつか従来のパラメータ化を置き換えるかもしれない。
オフラインとオンラインのパフォーマンスの関係の不確実性は、彼らの開発を妨げる。
オフラインエラーの体系的削減がオンラインエラーやオンライン安定性の変化にどのように影響するかを示す。
- 参考スコア（独自算出の注目度）: 1.9199275795132604
- License:
- Abstract: Machine-learning (ML) parameterizations of subgrid processes (here of turbulence, convection, and radiation) may one day replace conventional parameterizations by emulating high-resolution physics without the cost of explicit simulation. However, uncertainty about the relationship between offline and online performance (i.e., when integrated with a large-scale general circulation model (GCM)) hinders their development. Much of this uncertainty stems from limited sampling of the noisy, emergent effects of upstream ML design decisions on downstream online hybrid simulation. Our work rectifies the sampling issue via the construction of a semi-automated, end-to-end pipeline for $\mathcal{O}(100)$ size ensembles of hybrid simulations, revealing important nuances in how systematic reductions in offline error manifest in changes to online error and online stability. For example, removing dropout and switching from a Mean Squared Error (MSE) to a Mean Absolute Error (MAE) loss both reduce offline error, but they have opposite effects on online error and online stability. Other design decisions, like incorporating memory, converting moisture input from specific humidity to relative humidity, using batch normalization, and training on multiple climates do not come with any such compromises. Finally, we show that ensemble sizes of $\mathcal{O}(100)$ may be necessary to reliably detect causally relevant differences online. By enabling rapid online experimentation at scale, we can empirically settle debates regarding subgrid ML parameterization design that would have otherwise remained unresolved in the noise.
- Abstract（参考訳）: サブグリッドプロセス(乱流、対流、放射)の機械学習(ML)パラメータ化は、明示的なシミュレーションのコストを伴わずに高分解能物理をエミュレートすることで、従来のパラメータ化を置き換えることができる。
しかし、オフラインとオンラインのパフォーマンスの関係(大規模な総合循環モデル(GCM)と統合した場合)に関する不確実性は、その発展を妨げる。
このような不確実性の多くは、上流のML設計決定が下流のオンラインハイブリッドシミュレーションに与える影響を限定的にサンプリングすることに起因する。
オンラインのエラーやオンラインの安定性の変化に対して,オフラインエラーの体系的削減がどのような変化を示すのか,重要なニュアンスを明らかにするため,本研究では,ハイブリッドシミュレーションの半自動エンドツーエンドパイプラインの構築を通じてサンプリング問題を修正している。
例えば、Mean Squared Error(MSE)からMean Absolute Error(MAE)の損失へのドロップアウトと切り替えはどちらもオフラインエラーを減らすが、オンラインエラーとオンライン安定性には逆の影響がある。
メモリの導入、特定の湿度から入力された水分の相対湿度への変換、バッチの正規化の使用、複数の気候でのトレーニングなど、その他の設計上の決定は、そのような妥協を伴わない。
最後に、オンラインで因果関係の差異を確実に検出するためには、$\mathcal{O}(100)$のアンサンブルサイズが必要であることを示す。
大規模なオンライン実験を迅速に行えるようにすることで、ノイズの中で未解決のままであったサブグリッドMLパラメータ化設計に関する議論を経験的に解決することができる。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。
このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。
この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
論文 参考訳（メタデータ） (2024-08-09T17:05:45Z) - Dynamic Deep Learning Based Super-Resolution For The Shallow Water Equations [0.4188114563181614]
U-net型ニューラルネットワークによって頻繁に修正される20km分解能のシミュレーションは、10km分解能のシミュレーションの離散化誤差を達成できることを実証した。
このネットワークは、元々イメージベースの後処理の超解像のために開発されたもので、両方のメッシュ上のソリューションの違いを計算するために訓練されている。
論文 参考訳（メタデータ） (2024-04-09T15:46:00Z) - Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。
モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。
本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
論文 参考訳（メタデータ） (2022-10-23T02:06:48Z) - A Penalty Approach for Normalizing Feature Distributions to Build
Confounder-Free Models [11.818509522227565]
MetaData Normalization (MDN) は、学習不能なクローズドフォームソリューションに基づいてメタデータと各特徴の線形関係を推定する。
罰則法(PDMN)を適用してMDN法を拡張した。
MDNによるモデル精度の向上とMDN上のMDNを用いた共同設立者からの独立性の向上を示す。
論文 参考訳（メタデータ） (2022-07-11T04:02:12Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Hierarchical model reduction driven by machine learning for parametric
advection-diffusion-reaction problems in the presence of noisy data [0.0]
本稿では,雑音データの存在下でのパラメトリック楕円問題に対する信頼度低減モデルを生成するための新しい手法を提案する。
ノイズの影響を受ければ,方向方向のHiPODの精度が低下することを示す。
我々は、無関係なノイズからデータ中の関連する物理的特徴をよりよく識別する機械学習フィッティングモデルに取って代わる。
論文 参考訳（メタデータ） (2022-04-01T16:02:05Z) - Real-time simulation of parameter-dependent fluid flows through deep
learning-based reduced order models [0.2538209532048866]
還元次数モデル (ROM) はパラメータ依存の流体力学問題を高速に近似する。
ディープラーニング(DL)ベースのROMは、非線形トライアル多様体と還元力学の両方を非侵襲的に学習することで、これらの制限をすべて克服する。
得られたPOD-DL-ROMは、シリンダーベンチマークの周囲の流れ、固定された剛性ブロックに付着した弾性ビームとラミナー非圧縮性フローとの流体構造相互作用、大脳動脈瘤内の血流のほぼリアルタイムに正確な結果をもたらすことが示されている。
論文 参考訳（メタデータ） (2021-06-10T13:07:33Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳（メタデータ） (2020-09-29T12:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。