論文の概要: Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces

• arxiv url: http://arxiv.org/abs/2605.14358v1
• Date: Thu, 14 May 2026 04:35:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.619374
• Title: Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces
• Title（参考訳）: オーバーコンプリート推論トレースにおける最小コアの表現幾何学の解明
• Authors: Sanjoy Chowdhury, Dinesh Manocha,
• Abstract要約: 言語モデルは、しばしば長いチェーン・オブ・ソート・トレースを生成するが、最終的な予測を維持するのに、この理由がどの程度必要かは定かではない。 オーバーコンプリート推論トレースのレンズを通してこれを研究する。 我々は最小のコアを最終回答または予測分布を保存するステップの最小サブセットとして定義する。
• 参考スコア（独自算出の注目度）: 56.497263592610295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models often generate long chain-of-thought traces, but it remains unclear how much of this reasoning is necessary for preserving the final prediction. We study this through the lens of overcomplete reasoning traces: generated traces that contain more intermediate steps than are needed to support the model's answer. We define the minimal core as the smallest subset of steps that preserves either the final answer or predictive distribution, and introduce metrics for compression ratio, redundancy mass, step necessity, and necessity concentration. Across six deliberative reasoning benchmarks spanning arithmetic, competition mathematics, expert scientific reasoning, and commonsense multi-hop QA, we find substantial overcompleteness: on average, 46% of steps are removable under greedy minimal-core extraction while preserving the original answer in 86% of cases. We also find that predictive support is concentrated: the top three steps account for 65% of measured necessity mass on average. Beyond compression, minimal cores expose a cleaner geometry of reasoning: compared with full traces, they improve correct-incorrect trace separation by 11 points, reduce estimated intrinsic dimensionality by 34%, and transfer across model families with 85% off-diagonal answer retention. Theoretically, we establish existence of minimal sufficient subsets, local irreducibility guarantees for greedy elimination, and certificates of overcompleteness and sparse necessity. Together, these results suggest that full reasoning traces are often verbose and overcomplete, while minimal cores isolate the effective support underlying language-model predictions.
• Abstract（参考訳）: 言語モデルは、しばしば長いチェーン・オブ・ソート・トレースを生成するが、最終的な予測を維持するのに、この理由がどの程度必要かは定かではない。 我々はこれを、過剰完備な推論トレースのレンズを通して研究する:モデルの答えをサポートするために必要以上の中間ステップを含む生成されたトレース。 最小限のコアを最終回答または予測分布のいずれかを保持する最小のステップのサブセットとして定義し、圧縮比、冗長質量、ステップ必要量、必要濃度の指標を導入する。 算術、競争数学、専門科学推論、コモンセンスマルチホップQAにまたがる6つの熟考的推論ベンチマークにおいて、平均して46%のステップがグリージーな最小コア抽出の下で取り外し可能であり、元の回答を86%のケースで保存する。 また、予測支援が集中していることがわかりました。トップ3ステップは平均で測定された必要質量の65%を占めています。 圧縮以外にも、最小限のコアは推論のよりクリーンな幾何学を公開し、完全なトレースと比較すると、正しい不正確なトレース分離を11ポイント改善し、推定固有次元を34%削減し、85%の非対角応答保持を持つモデルファミリ間を転送する。 理論的には、最小限の十分な部分集合、グリーディ除去のための局所的な既約性保証、過剰完全性とスパースの必要性の証明の存在を確立します。 これらの結果は、完全な推論トレースが冗長で過剰な場合が多く、最小限のコアは、基礎となる言語モデル予測を効果的にサポートしていることを示唆している。

関連論文リスト

• InfoDensity: Rewarding Information-Dense Traces for Efficient Reasoning [36.37924312794855]
  冗長性は単に長さの問題ではなく、中間的推論品質の低下の症状であると主張する。 本稿では,AUCに基づく報酬と単調報酬を組み合わせたRLトレーニングのための報奨フレームワークであるInfoDensityを,推論品質の統一尺度として提案する。
  論文  参考訳（メタデータ） (2026-03-18T03:11:36Z)
• Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
  AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
  論文  参考訳（メタデータ） (2026-03-16T10:06:05Z)
• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• Fragile Thoughts: How Large Language Models Handle Chain-of-Thought Perturbations [2.5782420501870296]
  CoT(Chain-of-Thought)プロンプトは,Large Language Models(LLMs)から推論を引き出す基礎技術として登場した。 本稿は,5種類のCoT摂動型に対するロバスト性に関する総合的な実証的評価を示す: textitMathError, UnitConversion, Sycophancy, SkippedSteps, textitExtraSteps。
  論文  参考訳（メタデータ） (2026-02-11T03:11:30Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
  チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。 しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。