論文の概要: A Critical Look at Power Sampling when Test Time Sharpening LLMs

• arxiv url: http://arxiv.org/abs/2610.13653v1
• Date: Fri, 09 Oct 2026 14:29:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.620945
• Title: A Critical Look at Power Sampling when Test Time Sharpening LLMs
• Title（参考訳）: 試験時間短縮LDMにおけるパワーサンプリングの批判的考察
• Abstract要約: 近年の研究は報酬信号なしでRLVRの利益を追求している。 これらのサンプルは現実的な計算予算で$_$に収束しないことを示す。 これは、$_$を近似するのではなく、高い確率列を選択することに成功していることを示している。
• 参考スコア（独自算出の注目度）: 7.040438774123036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has substantially improved LLM reasoning, yet growing evidence suggests it mainly performs distribution sharpening: concentrating probability mass on reasoning paths the base model already produces. Recent work therefore seeks RLVR's gains without needing reward signals, by sampling from the power distribution $π_α\propto π_{\text{base}}^α$ via Markov chain Monte Carlo or sequential Monte Carlo. We show that these samplers fail to converge to $π_α$ under realistic compute budgets, and that their gains are largely recreated via simple Best-of-$N$ with appropriate grading . This suggests they succeed by selecting high-probability sequences, not by approximating $π_α$, raising a natural question: is the power distribution itself a worthwhile target? We test this hypothesis directly by fine-tuning the base model to match $π_α$, sidestepping sampler convergence issues entirely. Despite approximating the target far more faithfully than existing samplers, this strategy yields gains that are noisy and specific to certain models and sampling tasks. Together, our results suggest that the value of power sampling lies not in faithfully targeting $π_α$, but in the simpler goal of extracting sequences the base model already deems likely.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、LLM推論を大幅に改善したが、近年の証拠は、主に分布のシャープニング、すなわち、ベースモデルが既に生成した推論経路に確率質量を集中させることを示唆している。 したがって、近年の研究は、マルコフ連鎖モンテカルロまたはシーケンシャルモンテカルロを介して、電力分布$π_α\propto π_{\text{base}}^α$からサンプリングすることで、報酬信号を必要としないRLVRのゲインを求める。 これらのサンプルは、現実的な計算予算の下では$π_α$に収束せず、その利得は、適度な階調を持つ単純なBest-of-N$によって主に再現されることを示す。 これは、高い確率列を選択することに成功し、$π_α$を近似するのではなく、自然な疑問を提起する。 この仮説を, π_α$, サイドステッピング標本収束問題と完全に一致するように, ベースモデルを微調整することによって直接的に検証する。 既存のサンプルよりもターゲットをはるかに忠実に近似しているにもかかわらず、この戦略は特定のモデルやサンプリングタスクに特有でノイズの多い利益をもたらす。 この結果から, 電力サンプリングの価値は, π_α$ を忠実に狙うのではなく, 基本モデルから配列を抽出するという単純な目的により, 既に推定されている可能性が示唆された。

関連論文リスト

• Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling [26.291892793347426]
  textbfParallel Power Tempering (PPT)を導入する。 異なるシャープ化レベルで複数の共振レプリカを並列に実行することで、低消費電力レプリカは多様な推論軌道を探索することができる。 実験により, 単鎖型パワースハーペンドサンプリングを著しく改善し, RL-ポストトレーニングモデルより優れた性能を示した。
  論文  参考訳（メタデータ） (2026-09-29T17:45:43Z)
• Learning with a Single Rollout via Monte Carlo Pass@k Critic [41.21709991031287]
  拡張学習におけるトークンレベルの利点を推定することは、エピソード体験コレクションのスケールアップが高価であるため困難である。 言語モデルのためのRLにおけるトークンレベルの信用代入を特徴とする単一ロールアウトポリシ最適化について検討する。 SR-PPOは、Pass@128の成功率の連続的な上昇とともに、安定した学習力学を示すことを示す。
  論文  参考訳（メタデータ） (2026-06-24T06:26:34Z)
• UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs [21.05820098186702]
  我々はUnpredictaBenchを紹介した。これは、大きな言語モデルが真の基礎となる分布をキャプチャする能力をテストする評価である。 単純な分布シミュレーションでさえも困難であり、複雑なシステムのスタンドインとしてLLMを使用するための第一歩となる。
  論文  参考訳（メタデータ） (2026-06-04T18:18:02Z)
• Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning [11.356198488445488]
  トレーニング不要なSequential Monte CarloスキームであるPower-SMCを導入する。 MATH500では、Power-SMCはMHの電力サンプリングと一致し、レイテンシを16$---28times$から1.4$---3.3times$に下げる。
  論文  参考訳（メタデータ） (2026-02-10T20:31:40Z)
• Learning to Reason in LLMs by Expectation Maximization [55.721496945401846]
  我々は推論を潜在変数モデルとして定式化し、推論を学ぶための期待最大化目標を導出する。 この見解はEMと現代の報酬に基づく最適化を結びつけるものであり、正しい答えを正当化する有理性を生成するサンプリング分布を設計することの主な課題であることを示している。
  論文  参考訳（メタデータ） (2025-12-23T08:56:49Z)
• FlowRL: Matching Reward Distributions for LLM Reasoning [69.88820066093798]
  大規模言語モデル(LLM)強化学習(RL)において、報酬を最大化する代わりに、フローバランシングによる全報酬分布をマッチングするフローRLを提案する。 我々はスカラー報酬を学習可能な分割関数を用いて正規化対象分布に変換し、その後、ポリシーと対象分布との逆KL分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-18T17:56:36Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。