論文の概要: How Much is Left? LLMs Linearly Encode Their Remaining Output Length

• arxiv url: http://arxiv.org/abs/2607.05316v1
• Date: Mon, 06 Jul 2026 16:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.248488
• Title: How Much is Left? LLMs Linearly Encode Their Remaining Output Length
• Title（参考訳）: LLMは残っている出力長をリニアエンコードする
• Abstract要約: 大規模言語モデルは一度に1つのトークンを生成するが、その応答は著しく一貫した長さ構造を示す。 モデルがどれだけの応答が残っているかを内部で見積もっているかどうかを問う。 我々は、7つの補完スタイルのデータセットにまたがる3つのオープンウェイト7-8Bモデルの凍結した隠れ状態に対して、最小容量の線形プローブを訓練する。
• 参考スコア（独自算出の注目度）: 3.541590945326217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models generate one token at a time, yet their responses show remarkably consistent length structure: step-by-step solutions converge in predictable token counts, retrievals stop after a few sentences, retractions extend responses by measurable amounts. We ask whether the model carries an internal estimate of how much response remains. Training minimal-capacity linear probes on frozen hidden states of three open-weight 7-8B models across seven completion-style datasets, we find three converging pieces of evidence. First, total response length is linearly decodable from the prompt's last hidden state alone, before any output is emitted. Second, probe directions trained on natural-language datasets transfer broadly, including to controlled synthetic completions never seen in training, outperforming a statistical baseline; the converse direction generally fails, and this asymmetry is itself informative. Third, on curated high-loss completions, the probe's per-position estimate shifts upward at the moment the model retracts and restarts a partial solution, a directional behavior no position-only predictor can reproduce (qualitative, not aggregate). We frame this as approximate estimation of remaining generation length, distinct from exact-counting impossibility results for transformers, and interpret it as evidence that LLMs maintain a plan-like internal representation of output length (decodable, not necessarily used causally).
• Abstract（参考訳）: ステップバイステップのソリューションは予測可能なトークン数に収束し、検索は数文の後に停止し、リトラクションは測定可能な量で応答を拡張します。 モデルがどれだけの応答が残っているかを内部で見積もっているかどうかを問う。 7つの完了スタイルのデータセットにまたがる3つのオープンウェイト7-8Bモデルの凍結した隠れ状態に対して、最小容量の線形プローブを訓練すると、3つの連続した証拠が見つかる。 第一に、総応答長は、出力が出力される前にプロンプトの最後の隠れ状態から線形に退避可能である。 第二に、自然言語データセットに基づいて訓練されたプローブ方向は、訓練中に見られない合成完了を制御し、統計ベースラインを上回り、逆方向は一般的に失敗し、この非対称性はそれ自体が有益である。 第3に、キュレートされた高損失補完では、モデルが後退した時点で、プローブの配置当たりの推定値が上向きに変化し、部分解が再起動する。 我々はこれを、変圧器の正確な計数不可能な結果とは異なる、残射長の近似的推定とみなし、LLMが出力長の計画的な内部表現(因果的ではなく、因果的使用)を維持していることを示す証拠として解釈する。

関連論文リスト

• Bypass Observation: A Conceptual Design of a Non-Intrusive Layer-Wise Semantic Extraction Architecture [2.8943395720203386]
  Bypass Observationは、非侵襲的な層単位の読み出しアーキテクチャである。 V/(12d) に支配される閉形式オーバーヘッド近似を導出する。 Bypass Observationは、隠された状態の部分的、潜在的に誤解を招く可能性のあるプロジェクションを保ちながら、モデルイテレーションをより観測可能にすることができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2026-09-12T08:35:45Z)
• Wrong Prediction, Right Answer: Recovering Evidence from Collapsed LLM Sequence Scores [31.709549159768727]
  多様な推論ベンチマーク間で一貫した読み出しギャップを観察する。 隠れ状態プローブは、ネイティブシークエンススコアが完全に崩壊しても正解を復号することに成功した。 以上の結果から,無作為な内部論理を隠蔽する表現障害が明らかにゼロショット推論の欠点であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-31T16:43:55Z)
• TriLens: Per-Layer Logit-Lens Entropy for White-Box Hallucination Detection [22.258009855879752]
  本稿では,言語モデルにおける幻覚検出用検出器TriLensを紹介する。 どの層でも、マルチヘッドの自己注意出力、フィードフォワード出力、モデル自身のロジットレンズを通して残留ストリームを読み取る。 結果として生じる3L-次元軌道は、深さと加群をまたいだ確実性がどのように形成されるかを記述する。
  論文  参考訳（メタデータ） (2026-05-31T05:48:21Z)
• A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
  抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。 既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。 我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
  論文  参考訳（メタデータ） (2026-05-17T06:14:20Z)
• When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment [6.48455847613423]
  言語モデルは最終回答を与える前に推論を生成することが多いが、可視性のある答えは、モデルの回答がいつ安定するかを明らかにしない。 我々はこの問題を、狭義の計算可能な対象である無限回答優先安定化(enmphfinite-aswer preference stabilization)を通して研究する。 モデル状態と特定解動詞化子に対しては、モデル自身の継続確率を有限解集合に投影する。 バイナリタスクでは、これは正確なlog-oddsコード、$()=S_(mathrmyesmid)-S_(mathrmnomid)が生成される。
  論文  参考訳（メタデータ） (2026-05-07T08:34:59Z)
• Probing the Trajectories of Reasoning Traces in Large Language Models [4.599673637363014]
  本研究では,大規模言語モデルにおける推論トレースの軌跡を探索するプロトコルを提案する。 得られた推論トークンの比率が大きくなるにつれて、精度と決定のコミットメントが一貫して増加することが分かっています。 軌道探索が推論モデルのより効率的かつ安全な展開のための診断を提供することを示す。
  論文  参考訳（メタデータ） (2026-01-30T16:45:16Z)
• Temporal Predictors of Outcome in Reasoning Language Models [0.0]
  CoT(Chain-of-Thought)パラダイムは、推論のプロキシとしてステップバイステップの合理性の推論を使用する。 難しい問題に対して、予測精度の低下は、選択アーティファクトを浮き彫りにする。 全体として、我々の結果は、推論モデルでは、成功の自己評価はわずか数トークンで現れる傾向にあることを示唆している。
  論文  参考訳（メタデータ） (2025-11-03T08:57:18Z)
• Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
  言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。 直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
  論文  参考訳（メタデータ） (2025-09-30T19:03:26Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• CASTILLO: Characterizing Response Length Distributions of Large Language Models [3.5041586868397854]
  CASTILLO(CASTILLO)は、広く使われている13の大規模言語モデルにまたがる応答長分布を特徴付けるデータセットである。 本分析では,応答長のモデル間およびモデル内変動と,応答のサブセットのみにおけるモデル特異的な振る舞いと部分的テキスト変性の発生を明らかにした。
  論文  参考訳（メタデータ） (2025-05-22T16:35:33Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models [63.808843089941405]
  大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
  論文  参考訳（メタデータ） (2020-10-16T18:02:07Z)
• Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
  我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。 MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。 これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-03-27T09:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。