論文の概要: Multiple Token Divergence: Measuring and Steering In-Context Computation Density

• arxiv url: http://arxiv.org/abs/2512.22944v1
• Date: Sun, 28 Dec 2025 14:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.293691
• Title: Multiple Token Divergence: Measuring and Steering In-Context Computation Density
• Title（参考訳）: マルチトークンの多様性:インコンテキスト計算密度の測定とステアリング
• Authors: Vincent Herrmann, Eric Alcaide, Michael Wand, Jürgen Schmidhuber,
• Abstract要約: 言語モデルのコンテキスト内計算の労力を測定することは重要な課題である。 モデルの全出力分布と浅い補助予測ヘッドとのKL分散として定義される計算作業の簡易な尺度であるMultiple Token Divergence (MTD)を提案する。
• 参考スコア（独自算出の注目度）: 28.093944556539824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring the in-context computational effort of language models is a key challenge, as metrics like next-token loss fail to capture reasoning complexity. Prior methods based on latent state compressibility can be invasive and unstable. We propose Multiple Token Divergence (MTD), a simple measure of computational effort defined as the KL divergence between a model's full output distribution and that of a shallow, auxiliary prediction head. MTD can be computed directly from pre-trained models with multiple prediction heads, requiring no additional training. Building on this, we introduce Divergence Steering, a novel decoding method to control the computational character of generated text. We empirically show that MTD is more effective than prior methods at distinguishing complex tasks from simple ones. On mathematical reasoning benchmarks, MTD correlates positively with problem difficulty. Lower MTD is associated with more accurate reasoning. MTD provides a practical, lightweight tool for analyzing and steering the computational dynamics of language models.
• Abstract（参考訳）: 言語モデルのコンテキスト内計算の労力を測定することは重要な課題である。 遅延状態圧縮性に基づく先行手法は、侵襲的で不安定である。 モデルの全出力分布と浅い補助予測ヘッドとのKL分散として定義される計算作業の簡易な尺度であるMultiple Token Divergence (MTD)を提案する。 MTDは、複数の予測ヘッドを持つ事前訓練されたモデルから直接計算でき、追加のトレーニングは不要である。 そこで本研究では,生成したテキストの計算文字を制御する新しい復号法であるDivergence Steeringを紹介する。 MTDは複雑なタスクと単純なタスクを区別する従来の手法よりも効果的であることを示す。 数学的推論ベンチマークでは、MTDは問題難易度と正の相関関係を持つ。 MTDはより正確な推論と結びついている。 MTDは、言語モデルの計算力学を分析し、操る実用的で軽量なツールを提供する。

関連論文リスト

• Systematic Diagnosis of Brittle Reasoning in Large Language Models [1.14219428942199]
  人工知能における中心的な問題は、機械学習モデルが数学を理解する範囲である。 本稿では,特定の故障点を診断するために,標準ベンチマークを超えて数学的推論を計測する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-05T21:40:09Z)
• Understanding the Role of Training Data in Test-Time Scaling [56.12341509545198]
  線形回帰のための文脈内重み予測タスクを訓練した変圧器の試験時間スケーリング性能について検討した。 多様な、関連性があり、難しいタスクセットでのトレーニングが、テスト時間のスケーリングに最高のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2025-10-04T01:38:48Z)
• Learning to Ponder: Adaptive Reasoning in Latent Space [2.8835557003761747]
  我々は、潜時ステアリングによるインスタンス適応推論計算を割り当てる単一グラフのバックボーン学習自由フレームワークFR-Ponderを提案する。 GSM8KとMATH500では、FR-Ponderは計算精度のフロンティアを改善し、一致した精度で低いFLOPを提供し、早期出力ベースラインと比較する。
  論文  参考訳（メタデータ） (2025-09-29T03:21:42Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Key-Point-Driven Mathematical Reasoning Distillation of Large Language Model [15.542737858152053]
  KPDD(Key-Point-Driven Mathematical Reasoning Distillation)を提案する。 KPDDは、問題解決プロセスを3段階に分割することで、SLMの推論性能を向上させる。 実験により、KPDD-CoTは推論能力を大幅に向上し、KPDD-PoTは数学的推論タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-14T11:41:03Z)
• On the Convergence of Stochastic Gradient Descent in Low-precision Number Formats [3.408623772471354]
  SGD (Single-precision Gradient Descent) の収束は通常、実数の理論的結果と一致している。 しかし、計算が低精度の数値形式で実行されると、数値誤差が増大する。 これは、低精度計算に適応したSGD収束を研究するための説得力のある理由を与える。
  論文  参考訳（メタデータ） (2023-01-04T14:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。