論文の概要: Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty

• arxiv url: http://arxiv.org/abs/2603.15500v1
• Date: Mon, 16 Mar 2026 16:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.59359
• Title: Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty
• Title（参考訳）: 不確実性下での戦略情報配置によるLLMの推論理解
• Authors: Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang,
• Abstract要約: LLMは推論中にしばしばAhaモーメントを示す。例えば、"Wait"のようなトークンに続く明らかな自己補正のように。 本稿では,推論を手続き的情報と認識的言語化に分解する情報理論フレームワークを提案する。 我々のフレームワークは、Ahaのモーメントとポストトレーニング実験に関する事前の知見を統一し、将来の推論モデル設計に対する洞察を提供する。
• 参考スコア（独自算出の注目度）: 35.31863384654504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.
• Abstract（参考訳）: LLMは「ウェイト」のようなトークンに続く明らかな自己補正のような推論中にしばしばAhaモーメントを示すが、その基盤となるメカニズムはいまだ不明である。 本稿では、推論を手続き的情報と認識的言語化に分解する情報理論の枠組みを導入し、下流制御行動を支援する不確実性の明示的な外部化について述べる。 本研究では、純粋に手続き的推論が情報的に停滞することを示し、一方、認識的言語化は継続的な情報取得を可能にし、情報満足度を達成するために重要であることを示す。 実験の結果、強い推論性能は特定の表面トークンではなく不確実な外部化によって引き起こされることが示された。 我々のフレームワークは、Ahaのモーメントとポストトレーニング実験に関する事前の知見を統一し、将来の推論モデル設計に対する洞察を提供する。

関連論文リスト

• Auditing Language Model Unlearning via Information Decomposition [68.48660428111593]
  部分的情報分解(PID)を用いたアンラーニング監査のための解釈可能な情報理論フレームワークを提案する。 非学習前後のモデル表現を比較することにより、相互情報と忘れられたデータとを別個の構成要素に分解し、未学習および残留知識の概念を定式化する。 我々の研究は、言語モデルのより安全なデプロイのための理論的洞察と実行可能なツールを提供する、アンラーニングのための原則付き表現レベル監査を導入している。
  論文  参考訳（メタデータ） (2026-01-21T15:51:19Z)
• Robust Explanations Through Uncertainty Decomposition: A Path to Trustworthier AI [4.1942958779358674]
  本稿では,古典的説明可能性法を補完する手法として,予測の不確実性を活用することを提案する。 疫学の不確実性は、信頼できない説明の拒絶基準として機能する。 本実験は, この不確実性認識アプローチが説明の堅牢性と到達性に与える影響を実証するものである。
  論文  参考訳（メタデータ） (2025-07-17T09:00:05Z)
• From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs [4.447729258258283]
  未知の知識と未知の知識を微調整する際に生じる事実のギャップについて検討する。 我々の結果は、微調整データとテストタイムプロンプトの相互作用に光を当てた。
  論文  参考訳（メタデータ） (2025-05-29T12:59:30Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。