論文の概要: ZIP-RC: Zero-overhead Inference-time Prediction of Reward and Cost for Adaptive and Interpretable Generation

• arxiv url: http://arxiv.org/abs/2512.01457v1
• Date: Mon, 01 Dec 2025 09:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.784488
• Title: ZIP-RC: Zero-overhead Inference-time Prediction of Reward and Cost for Adaptive and Interpretable Generation
• Title（参考訳）: ZIP-RC: 適応的・解釈可能な生成のための遅延とコストのゼロオーバーヘッド推論時間予測
• Authors: Rohin Manvi, Joey Hong, Tim Seyde, Maxime Labonne, Mathias Lechner, Sergey Levine,
• Abstract要約: ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
• 参考スコア（独自算出の注目度）: 57.799425838564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models excel at reasoning but lack key aspects of introspection, including anticipating their own success and the computation required to achieve it. Humans use real-time introspection to decide how much effort to invest, when to make multiple attempts, when to stop, and when to signal success or failure. Without this, LLMs struggle to make intelligent meta-cognition decisions. Test-time scaling methods like Best-of-N drive up cost and latency by using a fixed budget of samples regardless of the marginal benefit of each one at any point in generation, and the absence of confidence signals can mislead people, prevent appropriate escalation to better tools, and undermine trustworthiness. Learned verifiers or reward models can provide confidence estimates, but do not enable adaptive inference and add substantial cost by requiring extra models or forward passes. We present ZIP-RC, an adaptive inference method that equips models with zero-overhead inference-time predictions of reward and cost. At every token, ZIP-RC reuses reserved or unused logits in the same forward pass as next-token prediction to output a joint distribution over final reward and remaining length -- no extra models, architecture change, or inference overhead. This full joint distribution is used to compute a sampling utility which is the linear combination of the expected maximum reward, total compute, and latency of set of samples if generated to completion. During inference, we maximize this utility with meta-actions that determine which prefix of tokens to continue or initiate sampling from. On mixed-difficulty mathematical benchmarks, ZIP-RC improves accuracy by up to 12% over majority voting at equal or lower average cost, and traces smooth Pareto frontiers between quality, compute, and latency. By providing real-time reward-cost introspection, ZIP-RC enables adaptive, efficient reasoning.
• Abstract（参考訳）: 大規模な言語モデルは推論において優れているが、独自の成功とそれを達成するために必要な計算など、イントロスペクションの重要な側面を欠いている。 人間は、どれだけの労力を投資するか、いつ複数の試みをするか、いつ停止するか、いつ成功または失敗を示すかを決定するために、リアルタイムのイントロスペクションを使用する。 これなしでは、LLMは知的メタ認知決定に苦労する。 Best-of-Nのようなテストタイムのスケーリング手法は、世代毎の限界的なメリットに関わらず、サンプルの固定予算を使用することで、コストとレイテンシを上昇させ、信頼のシグナルがないことは、人々を誤解させ、より良いツールへの適切なエスカレーションを防ぎ、信頼性を損なう。 学習された検証者や報奨モデルは信頼度を見積もることができるが、適応推論を可能とせず、追加のモデルや前方通過を要求することでかなりのコストがかかる。 ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 すべてのトークンにおいて、ZIP-RCはリザーブドまたは未使用のロジットを前もって再利用し、最終報酬と残り期間のジョイントディストリビューションを出力します。 この全関節分布は、期待される最大報酬、総計算、完了前に生成されたサンプルセットのレイテンシの線形結合であるサンプリングユーティリティの計算に使用される。 推論中、トークンのどのプレフィックスを継続するか、あるいはサンプリングを開始するかを決定するメタアクションでこのユーティリティを最大化する。 混合微分数学ベンチマークでは、ZIP-RCは、同じまたは低い平均コストで多数決よりも最大12%精度を向上し、品質、計算、レイテンシ間のスムーズなParetoフロンティアをトレースする。 リアルタイムの報酬コストイントロスペクションを提供することで、ZIP-RCは適応的で効率的な推論を可能にする。

関連論文リスト

• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Beyond Greedy Exits: Improved Early Exit Decisions for Risk Control and Reliability [14.00844847268286]
  早期のDeep Neural Networksは、中間層での予測を可能にすることで、適応推論を可能にする。 我々のフレームワークは、フルモデルのパフォーマンスと比較して、パフォーマンス低下(2%)を最小限に抑えながら、スピードアップ(1.70-2.10x)が一貫した改善を示している。
  論文  参考訳（メタデータ） (2025-09-28T06:05:24Z)
• Reward-Shifted Speculative Sampling Is An Efficient Test-Time Weak-to-Strong Aligner [24.152878302325508]
  提案手法では,対象モデルが変わらず,ヒトの嗜好に沿うような,報酬シフト型投機的サンプリング(SSS)アルゴリズムを導入する。 本アルゴリズムは, 試験時間低強度アライメント実験において, 推定コストを著しく低減し, 優れた金報酬スコアを得る。
  論文  参考訳（メタデータ） (2025-08-20T20:10:56Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。