論文の概要: Prefix Sliding for efficient test-time scaling

• arxiv url: http://arxiv.org/abs/2608.26070v1
• Date: Wed, 26 Aug 2026 17:37:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:16.007495
• Title: Prefix Sliding for efficient test-time scaling
• Title（参考訳）: 効率的なテスト時間スケーリングのためのプレフィックススライディング
• Abstract要約: テストタイムスケーリングでは、パフォーマンス向上のために追加のテストタイム計算を使用する。 モデルが推論を続けるにつれて、ほとんどの中間推論トークンは重要性を失います。 我々は,前置詞や最後の数千のトークンのウィンドウにない推論中にトークンを破棄するPrefix Slidingを提案する。
• 参考スコア（独自算出の注目度）: 148.8911065058742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling uses extra test-time compute to improve performance, such as letting language models reason longer when solving a problem. As models keep the entire reasoning trace in memory via full attention, hard tasks that need long thinking can be prohibitively expensive. However, we find most intermediate reasoning tokens lose importance as the model continues reasoning. This calls into question whether retaining them is worth the cost. Based on this insight, we propose Prefix Sliding, which discards tokens during reasoning that are not part of the prefix or the window of the last few thousand tokens. The prefix has key instructions and tools available to the model, while the most recent tokens are the current reasoning the model is working on. This caps the total memory requirement regardless of how long the model reasons, allowing for efficient long-horizon test-time scaling. Without training, Prefix Sliding can make existing models 3x faster while maintaining performance. Training with Prefix Sliding using reinforcement learning can achieve better performance by enabling scaling to reasoning traces beyond a hundred thousand tokens. Ablations show Prefix Sliding outperforms summarizing intermediate tokens or vanilla sliding window. Our code is at https://github.com/Muennighoff/prefix-sliding
• Abstract（参考訳）: テストタイムのスケーリングでは、言語モデルが問題の解決に時間がかかるようなパフォーマンス向上のために、余分なテストタイム計算を使用する。 モデルがすべての推論を十分に注意して記憶に残しているため、長い思考を必要とする困難なタスクは違法にコストがかかる可能性がある。 しかし、モデルが推論を続けるにつれて、ほとんどの中間的推論トークンは重要性を失います。 この要求は、その維持がコストに価値があるかどうかを問うものだ。 この知見に基づいて,前置詞や最後の数千のトークンのウィンドウにない推論中にトークンを破棄するPrefix Slidingを提案する。 プレフィックスには、モデルで利用可能な重要な命令とツールがあるが、最新のトークンは、モデルが現在取り組んでいる理由である。 これにより、モデルがどのくらいの理由があるかに関わらず、メモリ全体の要求を抑えることができ、効率的な長距離テストタイムスケーリングが可能になる。 トレーニングなしでは、Prefix Slidingはパフォーマンスを維持しながら既存のモデルを3倍高速にすることができる。 強化学習を用いたプレフィックススライディングによるトレーニングは、数十万のトークンを超えるトレースの推論を可能にすることで、よりよいパフォーマンスを実現することができる。 アブレーションでは、中間トークンやバニラスライドウィンドウを要約するPrefix Slidingのパフォーマンスが向上している。 私たちのコードはhttps://github.com/Muennighoff/prefix-slidingにあります。

関連論文リスト

• Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference [58.46323651532913]
  本研究では,モデルが周期的に最新のコンテキストを持続的な高速重みに変換する睡眠様統合機構について検討する。 睡眠中、モデルは蓄積したコンテキストにN$のオフラインリカレントパスを実行し、状態空間モデルの高速な重みを更新する。 睡眠時間の増加は,より深い推論を必要とする例では最大で,我々のモデルではN$の上昇がパフォーマンスを向上させることを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:55:39Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Scaling Speculative Decoding with Lookahead Reasoning [11.349400331288257]
  トークンレベルの投機的復号法(SD)は有効だが、その利点は秘められている。 並列性の第2段層を利用したLookahead Reasoningを開発した。 Lookahead Reasoningは、回答の品質を維持しながら、SDの1.4倍から2.1倍のスピードアップを改善する。
  論文  参考訳（メタデータ） (2025-06-24T17:48:10Z)
• Learning a Continue-Thinking Token for Enhanced Test-Time Scaling [15.231981094907386]
  テストタイムのスケーリングは、推論時の追加計算を利用することで、言語モデルのパフォーマンスを改善する効果的なアプローチとして現れている。 近年の研究では、終端トークンのオーバーライドが推論のステップを延長し、精度を向上させることが示されている。 本研究は,拡張推論を誘発するために,専用トークンを学習できるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-06-12T20:28:54Z)
• HELIOS: Adaptive Model And Early-Exit Selection for Efficient LLM Inference Serving [2.7433801927536074]
  初期段階の大規模言語モデル(EE-LLM)は、中間層でトークンを早期に終了させることで、高いスループットの推論を可能にする。 既存のEE-LLMフレームワークは単一のモデルに依存しているので、トークン生成レイテンシはボトルネックになる。 我々はトークン生成遅延とバッチサイズの両方を改善するフレームワークである$textitHELIOSを提案する。
  論文  参考訳（メタデータ） (2025-04-14T21:30:43Z)
• Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
  本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。 我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。 結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2025-02-07T18:55:02Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。