Fugu-MT 論文翻訳(概要): Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes

論文の概要: Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes

arxiv url: http://arxiv.org/abs/2006.09914v3
Date: Fri, 26 Feb 2021 12:10:50 GMT
ステータス: 処理完了
システム内更新日: 2022-11-19 19:43:00.860478
Title: Learning Partially Known Stochastic Dynamics with Empirical PAC Bayes
Title（参考訳）: 経験的PACベイを用いた確率力学の部分的学習
Authors: Manuel Haussmann, Sebastian Gerwinn, Andreas Look, Barbara Rakitsch, Melih Kandemir
Abstract要約: 本稿では,これらのモデルの予測精度を3段階で向上させる手法を提案する。実験では、このレシピは、部分的およびノイズの多い事前知識を改良されたモデル適合に効果的に翻訳することを示した。
参考スコア（独自算出の注目度）: 12.44342023476206
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural Stochastic Differential Equations model a dynamical environment with neural nets assigned to their drift and diffusion terms. The high expressive power of their nonlinearity comes at the expense of instability in the identification of the large set of free parameters. This paper presents a recipe to improve the prediction accuracy of such models in three steps: i) accounting for epistemic uncertainty by assuming probabilistic weights, ii) incorporation of partial knowledge on the state dynamics, and iii) training the resultant hybrid model by an objective derived from a PAC-Bayesian generalization bound. We observe in our experiments that this recipe effectively translates partial and noisy prior knowledge into an improved model fit.
Abstract（参考訳）: 神経確率微分方程式は、ドリフトと拡散項にニューラルネットワークを割り当てた力学環境をモデル化する。非線形性の高表現力は、自由パラメータの大きな集合の同定における不安定さを犠牲にしている。本稿では,これらのモデルの予測精度を3段階で向上させる手法を提案する。一確率的重みを仮定して認識的不確実性を説明すること。二状態力学に関する部分的知識の編入、及び三結果のハイブリッドモデルをPAC-ベイズ一般化境界から導出した目的により訓練すること。実験では、このレシピは、部分的およびノイズの多い事前知識を改良されたモデル適合に効果的に翻訳する。

関連論文リスト

Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文参考訳（メタデータ） (2024-10-06T15:25:39Z)
Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit [1.7597525104451157]
モデル重みの実験的分布は、マッキーン・ブラソフ非線形偏微分方程式(PDE)によって支配される決定論的尺度に収束する L2正則化の下で、このPDEは低次元常微分方程式(ODE)の閉集合に還元する。 ODEの固定点位置とその安定性を解析し,いくつかの興味深い結果を示した。
論文参考訳（メタデータ） (2024-06-11T03:07:41Z)
DiffHybrid-UQ: Uncertainty Quantification for Differentiable Hybrid Neural Modeling [4.76185521514135]
本稿では,ハイブリッドニューラル微分可能モデルにおける有効かつ効率的な不確実性伝播と推定のための新しい手法DiffHybrid-UQを提案する。具体的には,データノイズとてんかんの不確かさから生じるアレタリック不確かさと,モデル形状の相違やデータ空間のばらつきから生じるエピステマティック不確かさの両方を効果的に識別し,定量化する。
論文参考訳（メタデータ） (2023-12-30T07:40:47Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
論文参考訳（メタデータ） (2022-04-23T23:16:47Z)
Quantifying Model Predictive Uncertainty with Perturbation Theory [21.591460685054546]
本稿では,ニューラルネットワークの予測不確実性定量化のためのフレームワークを提案する。量子物理学の摂動理論を用いてモーメント分解問題を定式化する。我々の手法は、より高精度でキャリブレーションの高い高速なモデル予測不確実性推定を提供する。
論文参考訳（メタデータ） (2021-09-22T17:55:09Z)
Estimation of Bivariate Structural Causal Models by Variational Gaussian Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文参考訳（メタデータ） (2021-09-06T14:52:58Z)
When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文参考訳（メタデータ） (2021-06-07T18:31:47Z)
Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文参考訳（メタデータ） (2021-02-12T12:23:13Z)
Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。分散による離散乗法雑音のパラメータによく現れることを示す。最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。