論文の概要: Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/2604.16453v1
• Date: Tue, 07 Apr 2026 21:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.013675
• Title: Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo
• Title（参考訳）: 品質サンプリング:シークエンシャルモンテカルロによるトレーニング不要リワード誘導LDMデコーディング
• Authors: Jelena Markovic-Voronov, Wenhui Zhu, Bo Long, Zhipeng Wang, Suyash Gupta, Kayhan Behdin, Bee-Chung Chen, Deepak Agarwal,
• Abstract要約: 本稿では,大規模言語モデルにおける報酬誘導復号化のための原理的確率的フレームワークを提案する。 提案手法は,完全系列上での報酬増大対象分布を定義する。 報酬ポテンシャルによる推論分布を修正し、すべての利得は推論時間サンプリングから純粋に生じる。
• 参考スコア（独自算出の注目度）: 16.197322348431516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a principled probabilistic framework for reward-guided decoding in large language models, addressing the limitations of standard decoding methods that optimize token-level likelihood rather than sequence-level quality. Our method defines a reward-augmented target distribution over complete sequences by combining model transition probabilities with prefix-dependent reward potentials. Importantly, the approach is training-free: it leaves model weights unchanged and instead modifies the inference distribution via reward potentials, with all gains arising purely from inference-time sampling. To sample from this distribution, we develop Sequential Monte Carlo algorithms, including a computationally efficient prefix-only variant and a lookahead variant whose intermediate targets match the exact marginals of the full sequence distribution. The framework also integrates resample-move updates with Metropolis-Hastings rejuvenation and supports block-wise generation, subsuming common decoding strategies such as temperature sampling and power-tempered objectives. Empirical results across three 7B models show significant gains. On code generation (HumanEval), our method improves base performance by up to 54.9% and surpasses the strongest sampling baselines by 9.1%-15.3%. On mathematical reasoning (MATH500), it achieves gains of up to 8.8%. Notably, it reaches 87.8% on HumanEval and 78.4% on MATH500 with Qwen2.5-7B, consistently outperforming the reinforcement learning method GRPO.
• Abstract（参考訳）: 本稿では,大規模言語モデルにおける報酬誘導復号化のための原則的確率的フレームワークを導入し,シーケンスレベルの品質よりもトークンレベルの極大化を最適化する標準的な復号化手法の限界に対処する。 本手法は,モデル遷移確率とプレフィックス依存型報酬ポテンシャルを組み合わせることで,完全系列上の目標分布を増大させる。 モデルウェイトは変化せず、代わりに報酬ポテンシャルによって推論分布を調整し、すべての利得は推論時間サンプリングから純粋に生じる。 この分布から標本化するために、計算効率の良いプレフィックスのみの変種と、中間ターゲットが全列分布の正確な辺縁に一致するルックアヘッド変種を含むシークエンシャルモンテカルロアルゴリズムを開発した。 このフレームワークはまた、リサンプルモードの更新をメトロポリス・ハスティングス再活性化と統合し、ブロックワイズ生成をサポートし、温度サンプリングやパワースタンパー対象などの一般的なデコード戦略を仮定する。 3つの7Bモデルに対する実証的な結果は、大きな伸びを示している。 コード生成(HumanEval)では,最大54.9%,最強サンプリングベースラインを9.1%から15.3%に向上する。 数学的推論(MATH500)では、最大8.8%のゲインを達成する。 特に、HumanEvalで87.8%、Qwen2.5-7BでMATH500で78.4%に達し、強化学習法GRPOを一貫して上回っている。

関連論文リスト

• Learning Ordinal Probabilistic Reward from Preferences [25.069054134899744]
  確率的リワードモデル(PRM: Probabilistic Reward Model)を提案する。 提案手法では,報酬を決定論的スカラーとしてモデル化する代わりに,ランダム変数として扱い,各応答の品質の完全な確率分布を学習する。 OPRM上に構築したRerea Flooding Tuning(RgFT)と呼ばれるデータ効率のトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-02-13T06:43:02Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• From Static to Dynamic: Adaptive Monte Carlo Search for Mathematical Process Supervision [49.59309446816251]
  既存手法は, 定予算サンプリング戦略に基づいて, 推論ステップの質を推定する。 本稿では,データ生成を静的から適応に変換するフレームワークであるAdaptive Monte Carlo Search (AMCS)を提案する。 AMCSは、より多くのサンプルを不確実な推論ステップに割り当てることによって、予測を適応的に洗練し、予測しやすくする。
  論文  参考訳（メタデータ） (2025-09-29T06:52:35Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• TreeRPO: Tree Relative Policy Optimization [65.51935468270916]
  nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。 GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
  論文  参考訳（メタデータ） (2025-06-05T15:56:38Z)
• Adaptive Inference-Time Compute: LLMs Can Predict if They Can Do Better, Even Mid-Generation [51.127054971591924]
  本稿では,生成サンプル数を適応的に削減する新たな自己評価手法を提案する。 平均1.2サンプルだけで16サンプルの使用による改善の74%が達成できることを実証した。
  論文  参考訳（メタデータ） (2024-10-03T17:47:29Z)
• iBRF: Improved Balanced Random Forest Classifier [0.0]
  クラス不均衡は、異なる分類タスクにおいて大きな課題となる。 本稿では,予測性能を高めるために,バランスドランダムフォレスト(BRF)分類器の修正を提案する。 筆者らが提案するハイブリッドサンプリング手法は,ランダムフォレスト分類器のフレームワークに組み込むと,不均衡な分類タスクに使用される他のサンプリング手法よりも優れた予測性能が得られる。
  論文  参考訳（メタデータ） (2024-03-14T20:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。