論文の概要: Revisiting the Uniform Information Density Hypothesis in LLM Reasoning Traces

• arxiv url: http://arxiv.org/abs/2510.06953v1
• Date: Wed, 08 Oct 2025 12:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.488992
• Title: Revisiting the Uniform Information Density Hypothesis in LLM Reasoning Traces
• Title（参考訳）: LLM推論トレースにおける一様情報密度仮説の再検討
• Authors: Minju Gwak, Guijin Son, Jaehyung Kim,
• Abstract要約: 均一情報密度(UID)仮説は、効果的なコミュニケーションが安定した情報の流れを維持することを示唆している。 本稿では,エントロピーに基づく段階的情報密度測定法を提案し,一様性の2つの相補的尺度を提案する。 ステップレベルの均一性は、強力な理論レンズを提供するだけでなく、実用的なパフォーマンスの恩恵をもたらす。
• 参考スコア（独自算出の注目度）: 10.833681318622467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Uniform Information Density (UID) hypothesis suggests that effective communication maintains a stable flow of information. In this work, we revisit this principle in the context of large language model (LLM) reasoning traces, asking whether step-level uniformity reflects reasoning quality. To this end, we propose an entropy-based stepwise information density metric and introduce two complementary measures of uniformity, local and global uniformity scores. Across the experiments on six different reasoning benchmarks, we find that step-level uniformity not only provides a strong theoretical lens but also yields practical performance benefits; for example, selecting reasoning traces with more uniform information density at the step-level improves accuracy by 10-32\% relative gains over baselines at AIME2025. Our analysis further reveals that correct reasoning traces tend to avoid sharp information density spikes, while incorrect traces exhibit irregular information bursts. These results demonstrate that UID-inspired information density measures outperform alternative internal signals as predictors of reasoning quality. Results highlight the uniformity of the information density as a robust diagnostic and selection criterion for building more reliable and accurate reasoning systems.
• Abstract（参考訳）: 均一情報密度(UID)仮説は、効果的なコミュニケーションが安定した情報の流れを維持することを示唆している。 本研究では,この原理を大規模言語モデル(LLM)推論トレースの文脈で再検討し,ステップレベルの均一性が推論品質を反映するかどうかを問う。 そこで本研究では,エントロピーに基づく段階的情報密度測定法を提案し,一様性,局所性,大域性スコアの2つの相補的尺度を提案する。 例えば、ステップレベルでの情報密度がより均一な推論トレースを選択すると、AIME2025ではベースラインよりも10～32倍の精度が向上する。 解析の結果,正しい推論トレースは急激な情報密度のスパイクを回避する傾向を示し,不正確なトレースは不規則な情報バーストを示すことがわかった。 これらの結果から, UIDにインスパイアされた情報密度測定は, 推論品質の予測因子として, 代替内部信号よりも優れていたことが示唆された。 その結果、より信頼性が高く正確な推論システムを構築するための堅牢な診断・選択基準として、情報密度の均一性を強調した。

関連論文リスト

• A Simple and Effective Method for Uncertainty Quantification and OOD Detection [0.0]
  分布シフトの不確かさを定量化するために,特徴空間密度に基づく効果的な手法を提案する。 具体的には、カーネル密度推定から得られた情報ポテンシャル場を利用して、トレーニングセットの特徴空間密度を近似する。
  論文  参考訳（メタデータ） (2025-08-01T16:31:23Z)
• Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens [51.90059610606049]
  本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-23T13:38:56Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Anomaly Detection with Variance Stabilized Density Estimation [49.46356430493534]
  本稿では, 観測試料の確率を最大化するための分散安定化密度推定問題を提案する。 信頼性の高い異常検知器を得るために,分散安定化分布を学習するための自己回帰モデルのスペクトルアンサンブルを導入する。 我々は52のデータセットで広範なベンチマークを行い、我々の手法が最先端の結果につながることを示した。
  論文  参考訳（メタデータ） (2023-06-01T11:52:58Z)
• Out-of-Distribution Detection with Class Ratio Estimation [4.930817402876787]
  近年,OOD画像の検出作業において,密度に基づくアウト・オブ・ディストリビューション(OOD)検出は信頼性が低いことが示されている。 本稿では,エネルギーモデルを構築し,異なる基底分布を用いる新しい枠組みの下で,密度比に基づく手法を統合することを提案する。
  論文  参考訳（メタデータ） (2022-06-08T15:20:49Z)
• Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
  読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
  論文  参考訳（メタデータ） (2021-09-23T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。