論文の概要: Revisiting the UID Hypothesis in LLM Reasoning Traces

• arxiv url: http://arxiv.org/abs/2510.13850v1
• Date: Sat, 11 Oct 2025 21:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.474139
• Title: Revisiting the UID Hypothesis in LLM Reasoning Traces
• Title（参考訳）: LLM推論トレースにおけるUID仮説の再検討
• Authors: Minju Gwak, Guijin Son, Jaehyung Kim,
• Abstract要約: 大規模言語モデル(LLM)は、ステップバイステップのChain-of-Thought(CoT)推論を用いてしばしば問題を解決する。 推論トレース内の情報フローを分析するために,エントロピーに基づくメトリクスを導入する。 LLMにおける推論の成功は、全世界的に一様ではない。
• 参考スコア（独自算出の注目度）: 10.833681318622467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often solve problems using step-by-step Chain-of-Thought (CoT) reasoning, yet these intermediate steps are frequently unfaithful or hard to interpret. Inspired by the Uniform Information Density (UID) hypothesis in psycholinguistics -- which posits that humans communicate by maintaining a stable flow of information -- we introduce entropy-based metrics to analyze the information flow within reasoning traces. Surprisingly, across three challenging mathematical benchmarks, we find that successful reasoning in LLMs is globally non-uniform: correct solutions are characterized by uneven swings in information density, in stark contrast to human communication patterns. This result challenges assumptions about machine reasoning and suggests new directions for designing interpretable and adaptive reasoning models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ステップバイステップのChain-of-Thought(CoT)推論を用いて、しばしば問題を解決するが、これらの中間ステップは、しばしば不信または解釈が難しい。 心理言語学における一様情報密度(UID)仮説 (Uniform Information Density) にインスパイアされたこの仮説は、人間が安定した情報の流れを保ってコミュニケーションをとることを示唆している。 驚くべきことに、3つの挑戦的な数学的ベンチマークにおいて、LLMの推論の成功は全世界的に非一様であり、正しい解は人間のコミュニケーションパターンとは対照的に、情報密度の変動が不均一に起こる。 この結果は、機械推論に関する仮定に挑戦し、解釈可能な適応推論モデルを設計するための新しい方向性を提案する。

関連論文リスト

• Active Confusion Expression in Large Language Models: Leveraging World Models toward Better Social Reasoning [31.08532996770416]
  大規模言語モデル(LLM)は、認知的混乱、論理的矛盾、および客観的世界状態と主観的信念状態の衝突を示す。 本研究では,動的テキスト世界モデルを構築し,実体状態と時間的シーケンスを追跡する適応的世界モデル拡張推論機構を提案する。
  論文  参考訳（メタデータ） (2025-10-09T09:07:31Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Short-Path Prompting in LLMs: Analyzing Reasoning Instability and Solutions for Robust Performance [33.16322104912836]
  大規模言語モデル (LLM) の推論は、主にチェーン・オブ・シント (CoT) のアプローチによるものである。 LLMは、推論に関連する質問に応答するときに、長くて詳細なCoT経路を提供するように、命令調整される。 人間は自然に認知的な惨事であり、言語モデルにかなり短い反応を与えるよう促す。
  論文  参考訳（メタデータ） (2025-04-13T14:12:14Z)
• LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
  本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。 我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。 我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
  論文  参考訳（メタデータ） (2025-02-16T15:54:53Z)
• JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models [51.99046112135311]
  LLM(Large Language Models)の厳密な評価のための合成推論ベンチマークであるJustLogicを紹介する。 JustLogicは非常に複雑で、多様な言語パターン、語彙、引数構造を生成することができる。 実験の結果, (i) LLMは人体平均値よりも同等かそれ以上に機能するが, 人体天井よりも著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-01-24T15:49:10Z)
• Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
  State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。 本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。 これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:51:30Z)
• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける「情報ゲイン」を定量化し、障害モードの識別を可能にする。 我々は,おもちゃの算術, GSM8K, PRM800kデータセットに関する広範な実験を通じて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。