論文の概要: Entropy-regularized Gradient Estimators for Approximate Bayesian Inference

• arxiv url: http://arxiv.org/abs/2503.11964v2
• Date: Tue, 18 Mar 2025 01:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 10:31:56.166766
• Title: Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
• Title（参考訳）: 近似ベイズ推論のためのエントロピー規則化勾配推定器
• Authors: Jasmeet Kaur,
• Abstract要約: 本稿では,Kulback-Leibler分散系の勾配流を近似することにより,ベイズ後部を推定し,多様なサンプルを生成する。 本研究は, モデルベース強化学習における手法の性能評価と有効性を検討するために, 分類タスクに関する経験的評価を行う。
• 参考スコア（独自算出の注目度）: 2.44755919161855
• License:
• Abstract: Effective uncertainty quantification is important for training modern predictive models with limited data, enhancing both accuracy and robustness. While Bayesian methods are effective for this purpose, they can be challenging to scale. When employing approximate Bayesian inference, ensuring the quality of samples from the posterior distribution in a computationally efficient manner is essential. This paper addresses the estimation of the Bayesian posterior to generate diverse samples by approximating the gradient flow of the Kullback-Leibler (KL) divergence and the cross entropy of the target approximation under the metric induced by the Stein Operator. It presents empirical evaluations on classification tasks to assess the method's performance and discuss its effectiveness for Model-Based Reinforcement Learning that uses uncertainty-aware network dynamics models.
• Abstract（参考訳）: 有効な不確実性定量化は、限られたデータを持つ現代的な予測モデルを訓練するために重要であり、正確性と堅牢性の両方を高める。 ベイズ法はこの目的のために有効であるが、スケールすることは困難である。 近似ベイズ推定を用いる場合、後方分布からのサンプルの品質を計算的に効率的な方法で保証することが不可欠である。 本稿では,KL(Kullback-Leibler)の勾配流と,Stein演算子によって誘導される測定値の下での目標近似のクロスエントロピーを近似することにより,ベイズ後部の推定を行い,多様なサンプルを生成する。 本研究は,不確実性を考慮したネットワーク力学モデルを用いたモデルベース強化学習において,分類タスクに対する経験的評価を行い,その有効性について論じる。

関連論文リスト

• A variational Bayes approach to debiased inference for low-dimensional parameters in high-dimensional linear regression [2.7498981662768536]
  疎線形回帰における統計的推測のためのスケーラブルな変分ベイズ法を提案する。 我々のアプローチは、平均場近似をニュアンス座標に割り当てることに依存している。 これは前処理のステップに過ぎず、平均場変動ベイズの計算上の優位性を保っている。
  論文  参考訳（メタデータ） (2024-06-18T14:27:44Z)
• Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent [14.784809634505903]
  本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。 ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T02:21:06Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
  不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。 最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。 これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:01:08Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。