論文の概要: Multiple Token Divergence: Measuring and Steering In-Context Computation Density

• arxiv url: http://arxiv.org/abs/2512.22944v1
• Date: Sun, 28 Dec 2025 14:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.293691
• Title: Multiple Token Divergence: Measuring and Steering In-Context Computation Density
• Title（参考訳）: マルチトークンの多様性:インコンテキスト計算密度の測定とステアリング
• Authors: Vincent Herrmann, Eric Alcaide, Michael Wand, Jürgen Schmidhuber,
• Abstract要約: 言語モデルのコンテキスト内計算の労力を測定することは重要な課題である。 モデルの全出力分布と浅い補助予測ヘッドとのKL分散として定義される計算作業の簡易な尺度であるMultiple Token Divergence (MTD)を提案する。
• 参考スコア（独自算出の注目度）: 28.093944556539824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring the in-context computational effort of language models is a key challenge, as metrics like next-token loss fail to capture reasoning complexity. Prior methods based on latent state compressibility can be invasive and unstable. We propose Multiple Token Divergence (MTD), a simple measure of computational effort defined as the KL divergence between a model's full output distribution and that of a shallow, auxiliary prediction head. MTD can be computed directly from pre-trained models with multiple prediction heads, requiring no additional training. Building on this, we introduce Divergence Steering, a novel decoding method to control the computational character of generated text. We empirically show that MTD is more effective than prior methods at distinguishing complex tasks from simple ones. On mathematical reasoning benchmarks, MTD correlates positively with problem difficulty. Lower MTD is associated with more accurate reasoning. MTD provides a practical, lightweight tool for analyzing and steering the computational dynamics of language models.
• Abstract（参考訳）: 言語モデルのコンテキスト内計算の労力を測定することは重要な課題である。 遅延状態圧縮性に基づく先行手法は、侵襲的で不安定である。 モデルの全出力分布と浅い補助予測ヘッドとのKL分散として定義される計算作業の簡易な尺度であるMultiple Token Divergence (MTD)を提案する。 MTDは、複数の予測ヘッドを持つ事前訓練されたモデルから直接計算でき、追加のトレーニングは不要である。 そこで本研究では,生成したテキストの計算文字を制御する新しい復号法であるDivergence Steeringを紹介する。 MTDは複雑なタスクと単純なタスクを区別する従来の手法よりも効果的であることを示す。 数学的推論ベンチマークでは、MTDは問題難易度と正の相関関係を持つ。 MTDはより正確な推論と結びついている。 MTDは、言語モデルの計算力学を分析し、操る実用的で軽量なツールを提供する。

関連論文リスト

• Learning to Ponder: Adaptive Reasoning in Latent Space [2.8835557003761747]
  我々は、潜時ステアリングによるインスタンス適応推論計算を割り当てる単一グラフのバックボーン学習自由フレームワークFR-Ponderを提案する。 GSM8KとMATH500では、FR-Ponderは計算精度のフロンティアを改善し、一致した精度で低いFLOPを提供し、早期出力ベースラインと比較する。
  論文  参考訳（メタデータ） (2025-09-29T03:21:42Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Key-Point-Driven Mathematical Reasoning Distillation of Large Language Model [15.542737858152053]
  KPDD(Key-Point-Driven Mathematical Reasoning Distillation)を提案する。 KPDDは、問題解決プロセスを3段階に分割することで、SLMの推論性能を向上させる。 実験により、KPDD-CoTは推論能力を大幅に向上し、KPDD-PoTは数学的推論タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-14T11:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。