論文の概要: Comparison of neural closure models for discretised PDEs

• arxiv url: http://arxiv.org/abs/2210.14675v1
• Date: Wed, 26 Oct 2022 12:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-27 16:19:31.857812
• Title: Comparison of neural closure models for discretised PDEs
• Title（参考訳）: 離散pdesにおける神経閉鎖モデルの比較
• Authors: Hugo Melchers, Daan Crommelin, Barry Koren, Vlado Menkovski, Benjamin Sanderse
• Abstract要約: 2つの既存の定理は、その短期的正確性に基づいて、神経閉鎖モデルの長期的正確性についての洞察を与える新しい方法で解釈される。
• 参考スコア（独自算出の注目度）: 1.9230846600335954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural closure models have recently been proposed as a method for efficiently approximating small scales in multiscale systems with neural networks. The choice of loss function and associated training procedure has a large effect on the accuracy and stability of the resulting neural closure model. In this work, we systematically compare three distinct procedures: "derivative fitting", "trajectory fitting" with discretise-then-optimise, and "trajectory fitting" with optimise-then-discretise. Derivative fitting is conceptually the simplest and computationally the most efficient approach and is found to perform reasonably well on one of the test problems (Kuramoto-Sivashinsky) but poorly on the other (Burgers). Trajectory fitting is computationally more expensive but is more robust and is therefore the preferred approach. Of the two trajectory fitting procedures, the discretise-then-optimise approach produces more accurate models than the optimise-then-discretise approach. While the optimise-then-discretise approach can still produce accurate models, care must be taken in choosing the length of the trajectories used for training, in order to train the models on long-term behaviour while still producing reasonably accurate gradients during training. Two existing theorems are interpreted in a novel way that gives insight into the long-term accuracy of a neural closure model based on how accurate it is in the short term.
• Abstract（参考訳）: 近年,ニューラルネットワークを用いたマルチスケールシステムにおいて,小さなスケールを効率的に近似する手法として,ニューラルクロージャモデルが提案されている。 損失関数の選択と関連するトレーニング手順は、結果として生じる神経閉鎖モデルの精度と安定性に大きな影響を及ぼす。 本研究では,「導出的適合性」,「軌道的適合性」,「離散的最適化」,「軌道的適合性」の3つの異なる手順を体系的に比較した。 導出的フィッティングは概念的には最も単純で計算学的に最も効率的なアプローチであり、テスト問題の一つ(Kuramoto-Sivashinsky)では合理的に機能するが、他方(Burgers)では不十分である。 軌道フィッティングは計算コストが高いが、より堅牢であり、したがって好ましいアプローチである。 2つの軌道フィッティング手順のうち、離散化最適化アプローチは、最適化最適化最適化アプローチよりも正確なモデルを生成する。 最適化・then-discretiseアプローチはまだ正確なモデルを生成することができるが、トレーニング中に適度に正確な勾配を生成しながら、長期的行動に関するモデルを訓練するために、トレーニングに使用される軌道の長さを選択することに注意する必要がある。 既存の2つの定理は、その短期的正確性に基づいて、神経閉鎖モデルの長期的な正確性に関する洞察を与える新しい方法で解釈される。

関連論文リスト

• Leveraging Stochastic Depth Training for Adaptive Inference [1.996143466020199]
  本稿では,ゼロオーバーヘッド,単一モデル,時間予測可能な推論を用いた適応推論の簡易かつ効果的な代替手法を提案する。 従来のResNetと比較して、精度0.71%の低下で最大2倍の効率向上を実現した。
  論文  参考訳（メタデータ） (2025-05-23T08:36:56Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• EXACT: How to Train Your Accuracy [6.144680854063938]
  本稿では,モデル出力にアセンシティを導入し,予測精度を最適化することで,新しい最適化フレームワークを提案する。 線形モデルと深層画像分類の実験により,提案手法は広く用いられている分類損失の強力な代替手段であることが示された。
  論文  参考訳（メタデータ） (2022-05-19T15:13:00Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。