論文の概要: Guiding Posterior Exploration with Optimizer-Derived Geometry

• arxiv url: http://arxiv.org/abs/2607.25312v1
• Date: Tue, 28 Jul 2026 05:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.722857
• Title: Guiding Posterior Exploration with Optimizer-Derived Geometry
• Title（参考訳）: Optimizer-Derived Geometry を用いた後部探索の誘導
• Abstract要約: 本研究では, 長期間のサンプリングバーンインフェーズの必要性を著しく低減したり, 除去することのできる, ジオメトリーに基づくプリコンディショニングサンプリング戦略を提案する。 このアプローチは、追加の計算コストなしで予測性能と不確実性定量化を一貫して維持または改善する。
• 参考スコア（独自算出の注目度）: 18.020650844390378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling-based methods offer a principled approach to uncertainty quantification in Bayesian neural networks. Their practical use, however, is often challenged by the computational cost of exploring high-dimensional and multimodal posterior distributions. To overcome these difficulties, Bayesian Deep Ensembles, i.e., warmstarting the sampling from several optimized solutions, have proven to be an effective strategy. In this paper, we demonstrate that curvature estimates computed during the warmstart as a byproduct in adaptive optimizers such as AdamW can inform the sampling phase at negligible additional cost. Specifically, our proposed preconditioned sampling strategy based on optimizer-derived geometries can substantially reduce or even eliminate the need for a lengthy sampling burn-in phase and leads to greater numerical stability. This approach consistently maintains or improves predictive performance and uncertainty quantification without any additional computational costs. We confirm the consistency of our findings across various datasets and network architectures.
• Abstract（参考訳）: サンプリングに基づく手法はベイズニューラルネットワークにおける不確実性定量化に対する原則的アプローチを提供する。 しかし、それらの実践的利用は、高次元および多モード後部分布を探索する計算コストによってしばしば挑戦される。 これらの困難を克服するため、ベイズディープ・アンサンブル(Bayesian Deep Ensembles)、すなわち最適化されたいくつかの解からサンプリングを温めることは効果的な戦略であることが証明されている。 本稿では,AdamW などの適応最適化器の副生成物として温暖化開始時に計算した曲率推定が,サンプリングフェーズを無視可能な追加コストで通知できることを実証する。 具体的には,オプティマイザ由来のジオメトリに基づくプリコンディショニング・サンプリング・ストラテジーは,長時間のサンプリング・バーンイン・フェーズの必要性を著しく低減あるいは排除し,数値安定性を向上させる。 このアプローチは、追加の計算コストなしで予測性能と不確実性定量化を一貫して維持または改善する。 さまざまなデータセットやネットワークアーキテクチャにまたがる結果の整合性を確認します。

関連論文リスト

• Stochastic Gradient Optimization with Model-Assisted Sampling [0.0]
  本稿では, サーベイサンプリング理論を用いて, ミニバッチ勾配を解釈するモデル支援サンプリングフレームワークを提案する。 本研究の目的は,機械学習の最適化とサンプリング理論の橋渡しであり,サンプルベース推定と分散低減を両立させることである。
  論文  参考訳（メタデータ） (2026-06-25T15:39:19Z)
• Unbiased Approximate Vector-Jacobian Products for Efficient Backpropagation [21.297933521065076]
  深層ニューラルネットワークのトレーニングにおいて,計算コストとメモリコストを低減させる手法を提案する。 提案手法は, バックプロパゲーションにおいて, ベクトルジャコビアン積をランダムに, 偏りのない近似によって置き換えることによって構成する。
  論文  参考訳（メタデータ） (2026-02-16T12:40:59Z)
• Sequential Bayesian Optimal Experimental Design in Infinite Dimensions via Policy Gradient Reinforcement Learning [3.2580743227673694]
  高忠実性アプローチでは、ネストしたベイズ反転と設計ループの中で、繰り返し前方および随伴したPDEが解かれる。 我々は、SBOEDを有限水平マルコフ決定プロセスとして定式化し、ポリシー段階の強化学習を通じて、償却設計ポリシーを学習する。 汚染源追跡のための逐次マルチセンサ配置に関する数値実験は、高忠実度有限要素法よりも約100倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2026-01-09T15:44:49Z)
• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Thompson Sampling via Fine-Tuning of LLMs [68.1722422968855]
  我々は,スケーラブルな大規模獲得関数を必要としないトンプソンサンプリングに基づく代替案を提案する。 我々のアプローチであるThompson Smpling via Finening (ToSFiT) は、プロンプト条件付き言語モデルに埋め込まれた事前知識を活用し、後方に向けて漸進的に適応する。 分析の結果,ToSFiTアルゴリズムの基盤となる極大性原理の後続確率への注意的適応が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-15T09:13:59Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models [5.718069426660807]
  線形ガウス構造方程式モデルに基づいて連続観測データからネットワークを学習する問題について検討する。 本稿では,$ell$penalized max chanceの最適目標値に収束する新しい座標降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-21T20:18:03Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。