論文の概要: Effective Reasoning Chains Reduce Intrinsic Dimensionality

• arxiv url: http://arxiv.org/abs/2602.09276v1
• Date: Mon, 09 Feb 2026 23:32:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.282507
• Title: Effective Reasoning Chains Reduce Intrinsic Dimensionality
• Title（参考訳）: 有効共振鎖は内在次元を減少させる
• Authors: Archiki Prasad, Mandar Joshi, Kenton Lee, Mohit Bansal, Peter Shaw,
• Abstract要約: 内在次元は、与えられた精度閾値に達するために必要なモデル次元の最小数の尺度である。 実効的推論戦略はタスクの本質的な次元性を一貫して減少させることを示す。 より少ないパラメータでタスクを圧縮することで,効果的な推論連鎖が学習を促進することが示唆された。
• 参考スコア（独自算出の注目度）: 53.24264007741698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.
• Abstract（参考訳）: CoT(Chain-of- Thought)推論とその変種は複雑な推論タスクにおける言語モデルの性能を大幅に向上させたが、異なる戦略が一般化を促進する正確なメカニズムはいまだに理解されていない。 現在の説明では、テスト時間計算や構造的ガイダンスの増加が指摘されることが多いが、これらの要因と一般化との間に一貫した定量的なリンクを確立することは依然として困難である。 本研究では,本研究における本質的次元性について,推論連鎖の有効性を定量的に評価するための尺度として同定する。 内在次元は、与えられたタスクの精度閾値に達するために必要なモデル次元の最小数を定量化する。 モデルアーキテクチャを固定し,異なる推論戦略を通じてタスクの定式化を変化させることにより,効果的推論戦略がタスクの本質的な次元を一貫して減少させることを示す。 Gemma-3 1B および 4B を用いて GSM8K 上でこれを検証し,推論戦略の本質的次元性と分布内および分布外データの一般化性能との強い逆相関を観測した。 本研究は, より少ないパラメータを用いてタスクを圧縮し, 推論過程を解析するための新しい定量的指標を提供することにより, 効果的な推論連鎖が学習を促進することを示唆している。

関連論文リスト

• Identity Bridge: Enabling Implicit Reasoning via Shared Latent Memory [7.204534405819971]
  本稿では,ゼロホップ・アイデンティティ・タスク上でモデルを監視することで構成ギャップを解消するメカニズムであるアイデンティティ・ブリッジを紹介する。 この機構により、モデルが分配不能な2つのホップ推論をうまく実行できることが示される。 研究は大規模モデルに拡張され、潜時記憶を通して2つのホップ推論がまだ達成されていることを観察する。
  論文  参考訳（メタデータ） (2025-09-29T12:02:05Z)
• Is Long-to-Short a Free Lunch? Investigating Inconsistency and Reasoning Efficiency in LRMs [8.359909829007005]
  大規模推論モデル(LRM)において,効率的な推論手法が行動の不整合をもたらすかどうかを検討する。 $ICBENCH$は、3次元にわたるLRMの不整合を測定するために設計されたベンチマークである。 より大きなモデルは一般的に小さなモデルよりも一貫性が高いが、すべてのモデルが広く「計画的」な振る舞いを示す。
  論文  参考訳（メタデータ） (2025-06-24T10:25:28Z)
• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search [15.387256204743407]
  大規模言語モデル(LLM)は、訓練と配備の間にかなりの計算量、エネルギー、財務資源を必要とする。 推論コストは、今やリソース全体の負担の重要かつ増大する要素である。 本稿では,学習したスキルグラフ上での推論を表現力として表現する一般的なフレームワークである有向スキルサーチ(DS3)を紹介する。
  論文  参考訳（メタデータ） (2025-06-10T14:47:48Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
  本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-23T13:38:56Z)
• Efficient Inference for Large Reasoning Models: A Survey [74.17203483365171]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [35.43513487137371]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。