論文の概要: On the Token Value Inequality in Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2609.33970v1
• Date: Sun, 27 Sep 2026 22:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:17:27.661901
• Title: On the Token Value Inequality in Efficient Reasoning
• Title（参考訳）: 効率的な推論におけるトークン価値の不平等について
• Abstract要約: 連鎖推論により、大規模な言語モデルによって複雑なタスクにおいて大幅なパフォーマンス向上が達成された。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では,重要な経験的発見を基盤とした診断・最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 68.73741968444614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought reasoning has enabled large language models to achieve substantial performance gains on complex tasks. However, these gains come at the cost of dramatically increased token consumption. This raises a fundamental question: is every token in the reasoning trace equally valuable? We present a diagnostic and optimization framework grounded in a key empirical finding: the value of tokens within a CoT reasoning sequence is highly non-uniform, and this non-uniformity can be effectively characterized by token-level log probability signals. We show that normalized log probability helps distinguish core tokens, which carry structural and decisive reasoning content, from redundant tokens, which are exploratory, low-confidence filler that contributes less directly to the final answer. Building on these findings, we formulate the TokenProbe framework around two empirical findings and one claim: findings identify token value inequality first and then establish TokenProbe as a core-token proxy, and the claim introduces an efficient GRPO objective positing that selectively compressing redundant tokens can yield Pareto improvements in the accuracy-token efficiency space. Empirically, our method preserves reasoning quality while reducing the token usage by 76% of the baseline. Under matched reasoning-length budgets, we show that it can even outperform strong flagship baselines like Gemini-3.1-Pro. Homepage: https://runjia.tech/tokenprobe/.
• Abstract（参考訳）: Chain-of-Thought推論は、大規模な言語モデルで複雑なタスクで大幅なパフォーマンス向上を実現している。 しかし、これらの利益はトークン消費を劇的に増加させるコストに繋がる。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では、CoT推論シーケンス内のトークンの値が極めて均一であり、この非均一性はトークンレベルのログ確率信号によって効果的に特徴付けられることを示す。 正規化されたログ確率は、構造的および決定的な推論内容を持つコアトークンと、最終回答に直接寄与しない探索的で信頼性の低い補充器である冗長トークンとを区別するのに役立つ。 これらの結果に基づいて,トークン値の不等式を最初に同定し,次にコアトケンプロキシとしてTokenProbeを確立し,冗長なトークンを選択的に圧縮することで,精度とトークン効率の空間においてParetoの改善をもたらす,効率的なGRPO客観的な提案を導入する。 提案手法は,トークン使用率をベースラインの76%削減しつつ,推論品質を向上する。 一致した推論長の予算の下では、Gemini-3.1-Proのような強力なフラッグシップベースラインを上回ります。 ホームページ:https://runjia.tech/tokenprobe/.com

関連論文リスト

• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Do Thinking Tokens Help or Trap? Towards More Efficient Large Reasoning Model [7.8354921036790275]
  大きな推論モデル(LRM)は複雑な問題を解決するのに優れているが、過度なジレンマに直面している。 単純なタスクを扱う場合、思考トークンがオーバーロードされた冗長なレスポンスを生成することが多い。 これらのトークンは、リフレクションやバックトラックのような不要な高レベルの推論動作を引き起こし、効率を低下させる。
  論文  参考訳（メタデータ） (2025-06-30T13:30:33Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。