論文の概要: $\alpha$-divergence Improves the Entropy Production Estimation via Machine Learning

• arxiv url: http://arxiv.org/abs/2303.02901v2
• Date: Fri, 19 Jan 2024 14:53:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 19:25:53.662305
• Title: $\alpha$-divergence Improves the Entropy Production Estimation via Machine Learning
• Title（参考訳）: 機械学習によるエントロピー生産推定を改善する$\alpha$-divergence
• Authors: Euijoon Kwon, Yongjoo Baek
• Abstract要約: 損失関数のホストが存在し、すなわち$alpha$-divergenceの変分表現を実装するものが存在することを示す。 1$から0$の値に$alpha$を固定することで、$alpha$-NEEPは強い非平衡駆動やスローダイナミクスに対してより堅牢な性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen a surge of interest in the algorithmic estimation of stochastic entropy production (EP) from trajectory data via machine learning. A crucial element of such algorithms is the identification of a loss function whose minimization guarantees the accurate EP estimation. In this study, we show that there exists a host of loss functions, namely those implementing a variational representation of the $\alpha$-divergence, which can be used for the EP estimation. By fixing $\alpha$ to a value between $-1$ and $0$, the $\alpha$-NEEP (Neural Estimator for Entropy Production) exhibits a much more robust performance against strong nonequilibrium driving or slow dynamics, which adversely affects the existing method based on the Kullback-Leibler divergence ($\alpha = 0$). In particular, the choice of $\alpha = -0.5$ tends to yield the optimal results. To corroborate our findings, we present an exactly solvable simplification of the EP estimation problem, whose loss function landscape and stochastic properties give deeper intuition into the robustness of the $\alpha$-NEEP.
• Abstract（参考訳）: 近年,機械学習による軌道データから確率エントロピー生成(EP)をアルゴリズムで推定することへの関心が高まっている。 このようなアルゴリズムの重要な要素は、最小化が正確なEP推定を保証する損失関数の同定である。 本研究では,EP推定に使用できる$\alpha$-divergenceの変分表現を実装するような,損失関数のホストが存在することを示す。 1ドルから0ドルの間の値に$\alpha$を固定することにより、$\alpha$-NEEP (Neural Estimator for Entropy Production) は強い非平衡駆動やスローダイナミクスに対してより堅牢な性能を示し、Kulback-Leiblerの発散(\alpha = 0$)に基づいて既存のメソッドに悪影響を及ぼす。 特に、$\alpha = -0.5$の選択は最適な結果をもたらす傾向にある。 そこで本研究では,ep推定問題の解法を単純化し,損失関数のランドスケープと確率的性質が,$\alpha$-neepのロバスト性に深い直観を与える方法を提案する。

関連論文リスト

• Bounds on $L_p$ Errors in Density Ratio Estimation via $f$-Divergence Loss Functions [0.0]
  密度比推定(DRE)は2つの確率分布の関係を同定する基礎的な機械学習手法である。 $f$-divergence損失関数は、$f$-divergenceの変分表現から派生したもので、DREで最先端の結果を達成するために一般的に使用される。 本研究では,$L_p$エラーの上下境界を導出することにより,$f$-divergence損失関数を用いたDREの新しい視点を示す。
  論文  参考訳（メタデータ） (2024-10-02T13:05:09Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• $α$-Divergence Loss Function for Neural Density Ratio Estimation [0.0]
  密度比推定(DRE)は2つの確率分布の関係を捉えるための基礎的な機械学習手法である。 既存の手法では、低ウンバウンド損失関数によるオーバーフィッティング、バイアス付きミニバッチ勾配、トレーニング損失勾配の消失、KL(Kullback-Leibler)分散損失関数に対する高いサンプル要求など、最適化上の課題に直面している。 本稿では,DREの新しい損失関数である$alpha$-divergence loss function(alpha$-Div)を提案する。
  論文  参考訳（メタデータ） (2024-02-03T05:33:01Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Robust computation of optimal transport by $\beta$-potential regularization [79.24513412588745]
  最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。 我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。 提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
  論文  参考訳（メタデータ） (2022-12-26T18:37:28Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks [23.502721524477444]
  このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。 問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。 我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
  論文  参考訳（メタデータ） (2022-03-17T08:46:17Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。