論文の概要: Metropolis-Hastings Dominates Importance Resampling for Policy Composition

• arxiv url: http://arxiv.org/abs/2610.03480v1
• Date: Fri, 02 Oct 2026 15:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.460242
• Title: Metropolis-Hastings Dominates Importance Resampling for Policy Composition
• Title（参考訳）: メトロポリス・ハスティングス、政策構成における重要度調査を独占
• Abstract要約: 大規模言語モデル(LLM)のポストトレーニングでは、複数の報酬間のトレードオフを検討する必要があることが多い。 復号時ポリシー構成は、これらのトレードオフを推論時に報酬固有のポリシーを組み合わせることで調整することができる。 我々は、独立性のあるメトロポリス・ハスティングに基づく既知の反復補正を分析する。
• 参考スコア（独自算出の注目度）: 0.10195618602298682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training a large language model (LLM) often requires exploring trade-offs between multiple rewards, but retraining for each trade-off is expensive. Decoding-time policy composition allows these trade-offs to be adjusted by combining reward-specific policies at inference time. This composition targets a weighted product of the policies' probabilities over complete responses, but standard implementations combine their next-token probabilities, generally introducing sampling bias. We analyze a known iterative correction based on independence Metropolis-Hastings (MH). Our main result shows that, for every rollout budget, MH produces an output distribution at least as close to the target as sampling-importance-resampling (SIR) with the same budget, as measured by every convex f-divergence. We also derive a lower bound on MH's improvement over the uncorrected decoder in a consensus objective measuring agreement with the supplied policies. We further characterize the correction's sampling error in two asymptotic regimes: when the reward-specific policies approach agreement, and when the log ratio between target and uncorrected-decoder probabilities fluctuates increasingly widely, as can happen for long responses. We complement our analysis with experiments in enumerable and LLM-scale settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)のポストトレーニングでは、複数の報酬間のトレードオフを検討する必要があることが多いが、それぞれのトレードオフに対するトレーニングは高価である。 復号時ポリシー構成は、これらのトレードオフを推論時に報酬固有のポリシーを組み合わせることで調整することができる。 この構成は、完全な応答に対するポリシーの確率の重み付けされた積を目標としているが、標準実装は次の確率を組み合わせ、一般にサンプリングバイアスを導入している。 我々は、独立メトロポリス・ハスティングス(MH)に基づく既知の反復補正を分析する。 本結果から,MHは各ロールアウト予算に対して,各コンベックスf分割で測定されるように,サンプリング・イパタンス・リサンプリング(SIR)と同じ予算で,少なくとも目標に近い出力分布を生成することがわかった。 また、供給された政策との合意を客観的に評価することで、修正されていないデコーダに対するMHの改善に対する低い限界を導出する。 さらに、報酬特異的ポリシーが合意に近づくときと、ターゲットと非修正デコーダのログ比が、長い応答で起こりうるように、より広範囲に変動するときの2つの漸近的状態において、補正のサンプリング誤差を特徴づける。 我々は、エヌマブルおよびLLMスケール設定の実験で分析を補完する。

関連論文リスト

• Learning to Harvest Without Collapse in a Regenerative Commons: A Lagrangian Framework [2.000890150701116]
  我々は,再生コモンズを制約付きマルコフゲームや,デザイナー指定の枯渇予算による制約付きマルチエージェントMDPとして定式化し,明確な要件を整備する。 我々は、制約のないゲームや協調制御問題の解からポリシーシーケンスを構築する非定常ラグランジアンフレームワークを開発する。 ゴードン=シェーファー漁業における拘束型IPPOとMAPPOを用いた実験は、枯渇予算が在庫維持、収穫報酬、価格適応をどのように形成するかを検証した。
  論文  参考訳（メタデータ） (2026-09-29T01:37:20Z)
• Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
  ブートストラップは オフライン強化学習における 推定誤差を増幅する 本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。 Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
  論文  参考訳（メタデータ） (2026-08-04T04:30:02Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Evidence-based Distributional Alignment for Large Language Models [58.65469623911573]
  LLM分布推定の忠実度とロバスト性を改善する証拠に基づくアライメント手法であるEvi-DAを提案する。 対象国が与えられた場合、Evi-DAは関連するWorld Values Survey項目とその回答分布を検索し、オプション毎に粗いヴェルツェル値シグネチャを予測し、国条件の回答分布を構造化形式で推測する。
  論文  参考訳（メタデータ） (2026-03-03T03:34:06Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies [3.5253513747455303]
  独立政策勾配アルゴリズムは、協調型・非競合型ゲームにおけるマルチエージェント強化学習(MARL)に広く用いられている。 これらは、各エージェントのポリシー勾配が準最適均衡に向かっているときに、亜最適収束することが知られている。 共同サンプリング誤差を低減するための適応的な動作サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T20:07:25Z)
• Optimal Single-Policy Sample Complexity and Transient Coverage for Average-Reward Offline RL [6.224756774400233]
  本研究では, 平均回帰MDPにおけるオフライン強化学習について検討し, 分散シフトと非一様カバレッジの観点から, さらなる課題を提示する。 対象とする政策,特にバイアススパンと新しい政策が半径を超えることのみに基づき,平均逆オフラインRLに束縛された最初の完全単一政治サンプルの複雑性が生じる。
  論文  参考訳（メタデータ） (2025-06-26T00:22:39Z)
• Likelihood Reward Redistribution [0.0]
  本稿では,報酬再分配のためのEmphLikelihood Reward Redistribution (LRR) フレームワークを提案する。 ソフトアクター・クライブのような非政治的アルゴリズムと統合すると、LRRは密度が高く情報的な報奨信号を生成する。
  論文  参考訳（メタデータ） (2025-03-20T20:50:49Z)
• Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
  ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。 合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
  論文  参考訳（メタデータ） (2023-10-24T01:00:01Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。