論文の概要: Train for Many, Update with One: Improving Multi-Sample Reasoning via Fenchel-Bregman Posterior Learning

• arxiv url: http://arxiv.org/abs/2610.17735v1
• Date: Tue, 13 Oct 2026 05:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.525571
• Title: Train for Many, Update with One: Improving Multi-Sample Reasoning via Fenchel-Bregman Posterior Learning
• Title（参考訳）: Train for Many, Update with One: Improving Multi-Sample Reasoning via Fenchel-Bregman Posterior Learning (英語)
• Abstract要約: マルチサンプル推論は候補者のカバレッジを測定し、$K$の候補者のうち少なくとも1つが正しい確率を測る。 有限$K$の後方学習を定式化し、これは解法パラメータ上の分布を訓練し、全ての$K$独立生成候補が失敗する確率を減少させる。 一致した比較では、モンテカルロのベースラインが更新毎に測定したトレーニング時間の12.3%を使用して、同等のPass@10を達成する。
• 参考スコア（独自算出の注目度）: 27.66974127106945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-sample reasoning measures candidate coverage, the probability that at least one of $K$ candidates is correct. However, minimizing the average loss of individual attempts does not directly optimize candidate coverage. We therefore formulate finite-$K$ posterior learning, which trains a distribution over solver parameters to reduce the probability that all $K$ independently generated candidates fail. To optimize this objective efficiently, we propose a Fenchel-Bregman (FB) approach that requires only one posterior draw per update, rather than the $K$ used by direct Monte Carlo optimization. FB first uses an exact Fenchel reformulation to separate problem-specific weights from the posterior update, enabling one-draw posterior updates. It then applies a closed-form Bregman update to track these weights through an exponential running average of observed failures, reusing the same draw. We instantiate FB with IVON, a variational optimizer for Gaussian posteriors over solver parameters, yielding Fenchel-Bregman IVON (FBI). Across diverse recursive and autoregressive reasoning tasks, FBI improves candidate coverage. In a matched comparison, it achieves comparable Pass@10 using 12.3% of the direct Monte Carlo baseline's measured training time per update.
• Abstract（参考訳）: マルチサンプル推論は候補者のカバレッジを測定し、$K$の候補者のうち少なくとも1つが正しい確率を測る。 しかし、個々の試行の平均損失を最小限に抑えることは、直接的に候補カバレッジを最適化するわけではない。 したがって、有限の$K$後方学習を定式化し、これは解母パラメータ上の分布を訓練し、全ての$K$独立生成候補が失敗する確率を減少させる。 この目的を効率的に最適化するために,モンテカルロ直接最適化で用いられるK$ではなく,更新1回につき1回の後引きのみを必要とするFenchel-Bregman (FB) アプローチを提案する。 FBは、最初に正確なフェンシェル修正を使用して、問題固有の重み付けを後部更新から分離し、一線後部更新を可能にする。 次にクローズドフォームのBregmanアップデートを適用して、これらの重みを観測された障害の指数的な実行平均を通して追跡し、同じ引き分けを再利用する。 FB をガウス後部の変分最適化器である IVON でインスタンス化し,Fenchel-Bregman IVON (FBI) を生成する。 様々な再帰的および自己回帰的推論タスクにまたがって、FBIは候補者のカバレッジを改善している。 一致した比較では、モンテカルロのベースラインが更新毎に測定したトレーニング時間の12.3%を使用して、同等のPass@10を達成する。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• New Bounds for Sparse Variational Gaussian Processes [8.122270502556374]
  スパース変分ガウス過程 (GPs) は、GPモデルに対する抽出可能な後部近似を構成する。 これらの手法の中核は、訓練関数の値に対する真の後続分布が$bf f$であり、変数を誘導する$bf u$は、条件付きGP前の$p(bf f | bf u)$をその分解に組み込んだ変分分布によって近似されるという仮定である。 モデルトレーニングでは、より一般的な変分分布$q(bf f | bf u)$を使用することで、それを緩和できることを示す。
  論文  参考訳（メタデータ） (2025-02-12T19:04:26Z)
• Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization [3.061662434597098]
  本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。 提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
  論文  参考訳（メタデータ） (2023-10-29T01:13:55Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。