論文の概要: On the Limits of Test-Time Compute: Sequential Reward Filtering for Better Inference

• arxiv url: http://arxiv.org/abs/2512.04558v1
• Date: Thu, 04 Dec 2025 08:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.065258
• Title: On the Limits of Test-Time Compute: Sequential Reward Filtering for Better Inference
• Title（参考訳）: テスト時間計算の限界について:より良い推論のための逐次リワードフィルタ
• Authors: Yue Yu, Qiwei Di, Quanquan Gu, Dongruo Zhou,
• Abstract要約: テスト時計算(TTC)は、大規模言語モデル(LLM)の拡張のパラダイムとして、ますます顕著になっている。 本稿では,高次世代のみを文脈に選択的に組み込む単純な手順である報酬フィルタシーケンシャル推論について検討する。 理論的には、報酬フィルタによる逐次推論は標準TTCパラダイムよりも厳密な保証が得られることを示す。
• 参考スコア（独自算出の注目度）: 71.09125259964684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time compute (TTC) has become an increasingly prominent paradigm for enhancing large language models (LLMs). Despite the empirical success of methods such as best-of-$n$ (BoN) sampling and sequential revision, their fundamental limits remain unclear. We address this gap by analyzing a mixture-of-reference policy model and proving that standard BoN is inherently suboptimal. To move closer to the optimal frontier, we study reward-filtered sequential inference, a simple procedure that selectively incorporates only high-reward generations into the context. This mechanism concentrates computation on superior policy candidates and suppresses inferior ones. On the theoretical side, we show that reward-filtered sequential inference yields strictly stronger guarantees than standard TTC paradigms. On the empirical side, we evaluate such an inference strategy across diverse benchmarks and observe consistent improvements over widely used approaches, demonstrating the practical effectiveness of our framework.
• Abstract（参考訳）: テスト時計算(TTC)は、大規模言語モデル(LLM)を強化するためのパラダイムとして、ますます顕著になっている。 best-of-n$ (BoN) サンプリングやシーケンシャルリビジョンといった手法の実証的な成功にもかかわらず、その基本的な限界は未定である。 このギャップは、参照の混合ポリシーモデルを分析し、標準BoNが本質的に準最適であることを証明することによって解決する。 最適フロンティアに近づくために、高次数のみを文脈に選択的に組み込む単純な手順である報酬フィルタシーケンシャル推論について検討する。 このメカニズムは、優れた政策候補に計算を集中させ、劣った政策候補を抑圧する。 理論的には、報酬フィルタによる逐次推論は標準TTCパラダイムよりも厳密な保証が得られることを示す。 実証的な側面から、様々なベンチマークでそのような推論戦略を評価し、広く使われているアプローチよりも一貫した改善を観察し、我々のフレームワークの実践的効果を実証する。

関連論文リスト

• PAC-Bayes Meets Online Contextual Optimization [4.004966432215451]
  この作業は、私たちの知る限り、最初のオンラインコンテキスト最適化フレームワークを紹介します。 PAC-Bayes理論と一般ベイズ的更新原理に基づいて、我々のフレームワークはGibs後部を通した有界および混合可能な損失に対して$mathcalO(sqrtT)$ regretを達成する。
  論文  参考訳（メタデータ） (2025-11-25T15:37:31Z)
• A Sober Look at Progress in Language Model Reasoning: Pitfalls and Paths to Reproducibility [47.56466996118911]
  Reasoningは、言語モデル(LM)の次の主要フロンティアとして登場した。 我々は総合的な実証的研究を行い、現在の数学的推論ベンチマークは微妙な実装選択に対して非常に敏感であることがわかった。 本稿では,ベストプラクティスと報告基準を明確に定義した標準化された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-09T17:58:17Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [69.1820058966619]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。