論文の概要: Do Halting Heads Really Save Compute in Looped Language Models?

• arxiv url: http://arxiv.org/abs/2610.32246v1
• Date: Fri, 23 Oct 2026 06:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.41441
• Title: Do Halting Heads Really Save Compute in Looped Language Models?
• Title（参考訳）: ハルティングヘッドはループ言語モデルで本当にコンピューターを救ったか?
• Abstract要約: ループ言語モデルは、各トークンを同じレイヤで数回実行し、それぞれが1回ずつ実行されます。 計算を保存するために、停止するヘッドである余分なレイヤは、各イテレーション後にトークンが停止する確率を与え、簡単にトークンが早期に停止できるようにします。 スクラッチから1.3Bパラメータまでモデルを事前訓練すると、2つの問題が見つかる。 私たちは、実際に実行されるイテレーショントークンを、停止しきい値とバッチサイズで報告し、テストを行い、ヘッドをトレーニングする前に実行するように推奨します。
• 参考スコア（独自算出の注目度）: 6.982542225631412
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped language models run each token through the same layers several times, and each run is one iteration. To save compute, an extra layer, the halting head, gives after each iteration the probability that the token stops there, so that easy tokens can stop early. Pretraining models from scratch, up to 1.3B parameters, we find two problems. First, heads trained on a mix of all iterations predict that tokens need under half the iterations, yet under the standard stopping rule tokens run almost every iteration, because this training never scores the single iteration where a token stops. Scoring every iteration instead fixes this, but in our runs it works only with a strong penalty favoring early stops. Second, savings are commonly reported as an average number of iterations per token, but when sequences are generated in batches that run until their slowest token stops, a model without a head is almost as good at that cost. The reported average can therefore overstate the saving. We recommend reporting the iterations tokens actually run, with the stopping threshold and batch size, and give a test, run before training a head, that bounds its gain.
• Abstract（参考訳）: ループ言語モデルは、各トークンを同じレイヤで数回実行し、それぞれが1回ずつ実行されます。 計算を保存するために、停止するヘッドである余分なレイヤは、各イテレーション後にトークンが停止する確率を与え、簡単にトークンが早期に停止できるようにします。 スクラッチから1.3Bパラメータまでモデルを事前訓練すると、2つの問題が見つかる。 まず、すべてのイテレーションを混ぜてトレーニングされたヘッドは、トークンがイテレーションの半分以下でなければならないと予測しますが、標準の停止ルールトークンでは、ほとんどすべてのイテレーションを実行します。 すべてのイテレーションをスコーシングすることで、これを修正しますが、私たちの運用では、早期停止を優先する強いペナルティでのみ機能します。 第二に、セーブはトークン毎の平均イテレーション数として報告されるが、最も遅いトークンが停止するまで実行されるバッチでシーケンスが生成される場合、頭のないモデルは、そのコストでほぼ同等である。 したがって、報告された平均は貯蓄を過大評価することができる。 私たちは、実際に実行されるイテレーショントークンを、停止しきい値とバッチサイズで報告し、テストを行い、ヘッドをトレーニングする前に実行するように推奨します。

関連論文リスト

• Speculative Forcing for Efficient Autoregressive Video Generation [78.368797550302]
  Speculative Forcingは、中間的クリーンな見積もりをドラフトとして扱うフレームワークである。 フルステップサンプリングの品質を維持しつつ、fpsを大幅に削減する。 LongLiveでは、4段階のジェネレータと1トークンあたり1.7のデノイングステップが一致し、41.7 fpsと37.8 fpsで1.5倍高速に動作する。
  論文  参考訳（メタデータ） (2026-10-15T17:57:01Z)
• Almost Free State Prediction Separation [25.82506789380018]
  本稿は、状態予測分離をほぼ自由にする。 キーや値がまったく書けない予測ストリームで、シーケンスの既存の位置に乗るのです。
  論文  参考訳（メタデータ） (2026-09-03T13:12:47Z)
• Prefix Sliding for efficient test-time scaling [148.8911065058742]
  テストタイムスケーリングでは、パフォーマンス向上のために追加のテストタイム計算を使用する。 モデルが推論を続けるにつれて、ほとんどの中間推論トークンは重要性を失います。 我々は,前置詞や最後の数千のトークンのウィンドウにない推論中にトークンを破棄するPrefix Slidingを提案する。
  論文  参考訳（メタデータ） (2026-08-26T17:37:15Z)
• Rho-1: Not All Tokens Are What You Need [132.31428897792114]
  以前の言語モデル事前学習手法は、すべてのトレーニングトークンに次トーケン予測損失を均一に適用した。 Rho-1 は選択言語モデリング (SLM) を採用しており、所望の分布に合わせて有用なトークンを選択的に訓練する。 15B OpenWebMathコーパスで継続事前トレーニングを行うと、Rho-1は9つの数学タスクで最大30%のショット精度で絶対的に改善する。
  論文  参考訳（メタデータ） (2024-04-11T17:52:01Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)
• SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference [17.947904697850433]
  バッチ推論とKeyValueキャッシュのためのトークンレベルの早期終了メソッドであるSkipDecodeを提案する。 これは、各シーケンス位置のバッチ内の各トークンに対して特異レベル出口を設定することで、以前の制約を克服する。 また、イグジットポイントの単調な減少を保証するため、前のトークンに対してKVキャッシュを再コンパイルする必要がなくなる。
  論文  参考訳（メタデータ） (2023-07-05T19:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。