論文の概要: Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty

• arxiv url: http://arxiv.org/abs/2603.15500v1
• Date: Mon, 16 Mar 2026 16:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.59359
• Title: Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
• Title（参考訳）: 不確実性下での戦略情報配置によるLLMの推論理解
• Abstract要約: LLMは推論中にしばしばAhaモーメントを示す。例えば、"Wait"のようなトークンに続く明らかな自己補正のように。 本稿では,推論を手続き的情報と認識的言語化に分解する情報理論フレームワークを提案する。 我々のフレームワークは、Ahaのモーメントとポストトレーニング実験に関する事前の知見を統一し、将来の推論モデル設計に対する洞察を提供する。
• 参考スコア（独自算出の注目度）: 35.31863384654504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.
• Abstract（参考訳）: LLMは「ウェイト」のようなトークンに続く明らかな自己補正のような推論中にしばしばAhaモーメントを示すが、その基盤となるメカニズムはいまだ不明である。 本稿では、推論を手続き的情報と認識的言語化に分解する情報理論の枠組みを導入し、下流制御行動を支援する不確実性の明示的な外部化について述べる。 本研究では、純粋に手続き的推論が情報的に停滞することを示し、一方、認識的言語化は継続的な情報取得を可能にし、情報満足度を達成するために重要であることを示す。 実験の結果、強い推論性能は特定の表面トークンではなく不確実な外部化によって引き起こされることが示された。 我々のフレームワークは、Ahaのモーメントとポストトレーニング実験に関する事前の知見を統一し、将来の推論モデル設計に対する洞察を提供する。

関連論文リスト

• AdapTime: Enabling Adaptive Temporal Reasoning in Large Language Models [65.97075015662318]
  AdapTimeは適応的な時間的推論手法であり、入力コンテキストに基づいて推論ステップを動的に実行する。 最先端のLCMとシームレスに統合され、外部サポートに頼ることなく、時間的推論能力を大幅に向上する。
  論文  参考訳（メタデータ） (2026-04-27T08:34:40Z)
• Probing the Reliability of Driving VLMs: From Inconsistent Responses to Grounded Temporal Reasoning [17.08518699175473]
  運転支援システムとして応用されたビジョン・ランゲージ・モデル(VLM)は,現状の観測結果が今後の成果をどう形作るのかを概説し,理解することができるかを検討する。 強い視覚的理解を持つモデルは、時間的推論を必要とするタスクにおいて必ずしも最善を尽くさない。 本稿では、時間ラベルを必要とせず、一貫性と時間的推論の両方を改善するチェーン・オブ・ソート推論を用いた、シンプルで効果的な自己教師付きチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-03-10T11:12:28Z)
• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• Robust Explanations Through Uncertainty Decomposition: A Path to Trustworthier AI [4.1942958779358674]
  本稿では,古典的説明可能性法を補完する手法として,予測の不確実性を活用することを提案する。 疫学の不確実性は、信頼できない説明の拒絶基準として機能する。 本実験は, この不確実性認識アプローチが説明の堅牢性と到達性に与える影響を実証するものである。
  論文  参考訳（メタデータ） (2025-07-17T09:00:05Z)
• From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs [4.447729258258283]
  未知の知識と未知の知識を微調整する際に生じる事実のギャップについて検討する。 我々の結果は、微調整データとテストタイムプロンプトの相互作用に光を当てた。
  論文  参考訳（メタデータ） (2025-05-29T12:59:30Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。