論文の概要: When Do LLMs Reason? A Dynamical Systems View via Entropy Phase Transitions

• arxiv url: http://arxiv.org/abs/2605.22873v1
• Date: Wed, 20 May 2026 03:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.013095
• Title: When Do LLMs Reason? A Dynamical Systems View via Entropy Phase Transitions
• Title（参考訳）: LLMはいつ推論されるか?エントロピー相転移による力学系
• Authors: Wei Xia, Haoqing Wang, Zhi-Hong Deng, Yehui Tang,
• Abstract要約: CoT(Chain-of- Thought)推論はLLM機能拡張のデフォルト戦略となっているが、そのアプリケーションは根本的な疑問を提起している。 CoTはしばしば、トークンの消費を乗じながら、事実やオープンなタスクに限界あるいは負の利益をもたらす。 LLM推論はタスクやモデルの静的な特性ではなく,生成時に出現するエンファンダイナミックデコード状態であることを示す。 軽量でトレーニング不要なルーティングである textbfEDRM (Entropy Dynamics-based Reasoning Manifold) を提案する。
• 参考スコア（独自算出の注目度）: 42.557327309177175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning has become the default strategy for enhancing LLM capabilities, yet its application raises a fundamental question: when is explicit reasoning actually beneficial? Empirical evidence reveals a striking paradox: CoT often provides marginal or even negative gains on factual and open-ended tasks while multiplying token consumption. In this work, we show that LLM reasoning is not a static property of tasks or models, but a \emph{dynamic decoding state} that emerges during generation. Through systematic analysis, we find early-stage entropy dynamics provide a reliable signal of this state: tasks benefiting from CoT exhibit consistent entropy reduction, while others display unstable or increasing patterns. This behavior can be interpreted as a phase-transition-like shift from a high-entropy exploratory regime to a low-entropy structured reasoning regime. Based on these insights, we propose \textbf{EDRM} (Entropy Dynamics-based Reasoning Manifold), a lightweight and training-free routing framework that leverages early decoding entropy to adaptively select inference strategies. EDRM embeds entropy trajectories into a compact and interpretable manifold representation, enabling both zero-shot deployment and fine-grained instance-level adaptation. Across 15 benchmarks and 4 LLMs of varying scales and architectures, EDRM consistently outperforms static baselines. At the dataset level, EDRM achieves \textbf{41--55\%} token reduction while improving accuracy with as few as 50 calibration samples. At the instance level, it further improves accuracy by up to \textbf{4.7\%} while maintaining \textbf{27--45\%} token savings. These results suggest that reasoning should be invoked selectively rather than by default, and demonstrate the effectiveness of entropy-driven decoding control for efficient and adaptive LLM inference.
• Abstract（参考訳）: CoT(Chain-of- Thought)推論はLLM機能拡張のデフォルト戦略となっているが、そのアプリケーションは根本的な疑問を提起している。 CoTはしばしば、トークンの消費を乗じながら、事実やオープンなタスクに対して、限界的あるいはネガティブな利益をもたらす。 本研究では, LLM推論はタスクやモデルの静的な特性ではなく, 生成中に出現する 'emph{dynamic decoding state} であることを示す。 系統解析により、初期エントロピー力学は、CoTの恩恵を受けるタスクが一貫したエントロピー還元を示し、他のタスクは不安定あるいは増大するパターンを示す。 この挙動は、高エントロピー探索規則から低エントロピー構造推論規則への相転移様シフトと解釈できる。 これらの知見に基づいて,早期復号エントロピーを利用して推論戦略を適応的に選択する軽量かつトレーニング不要なルーティングフレームワークであるtextbf{EDRM} (Entropy Dynamics-based Reasoning Manifold)を提案する。 EDRMはエントロピー軌道をコンパクトで解釈可能な多様体表現に埋め込み、ゼロショット展開とインスタンスレベルの微粒化を両立させることができる。 15のベンチマークと、さまざまなスケールとアーキテクチャの4つのLLMで、EDRMは静的ベースラインを一貫して上回っている。 データセットレベルでは、EDRMは、50のキャリブレーションサンプルで精度を向上しながら、 \textbf{41--55\%}トークンの削減を達成する。インスタンスレベルでは、 \textbf{27--45\%}トークンの保存を維持しながら、 \textbf{4.7\%}までの精度をさらに向上する。 これらの結果は、推論をデフォルトでではなく選択的に実行し、エントロピー駆動型復号制御の有効性を効率よく適応的なLLM推論に適用できることを示唆している。

関連論文リスト

• Relative Kinetic Utility for Reasoning-Aware Structural Pruning in Large Language Models [0.0]
  モデルの深さ多様体上での連続的な運動積分に離散的なプルーニングを高める新しい枠組みを提案する。 Qwen-2.5-7B と LLaMA-3-8B の試験により、高スパーシティのシステムの性能は40%向上した。 RKUはGSM8Kで40%の精度で13.34%の精度を達成し、最強のベースラインを上回った。
  論文  参考訳（メタデータ） (2026-05-09T15:47:53Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
  デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。 グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。 本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-10T23:08:26Z)
• On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
  本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。 本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。 FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T06:08:50Z)
• LLMs for Game Theory: Entropy-Guided In-Context Learning and Adaptive CoT Reasoning [0.0]
  離散的なゲーム理論タスクにおける推論のための新しい LLM ベースのフレームワークを提案する。 この手法は、文脈学習とエントロピー誘導チェーン・オブ・シント(CoT)推論と適応文脈検索を統合した。
  論文  参考訳（メタデータ） (2026-01-15T16:34:39Z)
• Chain-of-Code Collapse: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation [0.3495246564946556]
  大規模言語モデル(LLM)は複雑な推論を必要とするタスクにおいて顕著な成功を収めた。 これらのモデルは本当に理由があるのか、それとも浅い統計パターンを利用するだけなのか? ここでは、意味論的に忠実だが逆向きに構造化された急激な摂動のスイートを導入することで、LCMの推論の堅牢性について検討する。
  論文  参考訳（メタデータ） (2025-06-08T02:43:46Z)
• Adaptive Distraction: Probing LLM Contextual Robustness with Automated Tree Search [76.54475437069395]
  大きな言語モデル(LLM)は、意味的に一貫性があるがタスクに依存しないコンテキスト情報に直面している場合、元のパフォーマンスを維持するのに苦労することが多い。 本稿では,木探索に基づく動的散逸生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。