論文の概要: Interpreting Reasoning of Large Language Models via Partial Information Decomposition

• arxiv url: http://arxiv.org/abs/2610.00571v1
• Date: Wed, 30 Sep 2026 18:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.71222
• Title: Interpreting Reasoning of Large Language Models via Partial Information Decomposition
• Title（参考訳）: 部分的情報分解による大規模言語モデルの解釈
• Abstract要約: 我々は、推論プロセスの品質を評価するために、新しい解釈可能性フレームワーク、SLIDERを導入する。 Step-wise Repetitive Reasoning Index (Step-RRI)は冗長性の識別精度を向上させる。 Trajectory-RRIは、個々の推論軌道に対する反復性の集合測度である。
• 参考スコア（独自算出の注目度）: 9.717425883389083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) have achieved substantial improvements in solving complex mathematical problems, but often produce lengthy, repetitive, or erroneous reasoning trajectories. In this work, we introduce a new interpretability framework, SLIDER, to evaluate the quality of the reasoning process. SLIDER leverages an emerging body of work from information theory called Partial Information Decomposition to disentangle the information about the final answer between two consecutive reasoning steps into non-negative components: unique information (in preceding steps or current step), redundant information, and synergistic information. Building on this decomposition, we propose the *Step-wise Repetitive Reasoning Index (Step-RRI)*, a theoretically grounded measure that assesses whether the answer-relevant information in the current step $S_i$ is predominantly redundant with the past steps $S_{<i}$, relative to its unique and synergistic contributions. To evaluate the effectiveness of Step-RRI in detecting repetitiveness, we apply SLIDER to the redundancy class of the PRMBench dataset where Step-RRI improves step-level redundancy identification accuracy by over $10$ points compared to embedding-similarity and information-gain baselines. Next, we define *Trajectory-RRI*, an aggregate measure of repetitiveness for an individual reasoning trajectory. To demonstrate its practical relevance, we show that average Trajectory-RRI strongly correlates with actual reasoning length across QwQ-32B, DeepSeek-R1-Distill-Qwen-32B, and GPT-4.1, motivating its use as a signal for improving reasoning efficiency. Finally, we introduce *Trajectory-RRI-guided data selection for fine-tuning*, demonstrating that selecting training data based on Trajectory-RRI can improve a fine-tuned model's reasoning efficiency while largely preserving its task performance.
• Abstract（参考訳）: 大きな推論モデル (LRMs) は複雑な数学的問題の解法において大幅に改善されているが、しばしば長い、反復的な、または誤った推論軌道を生成する。 本研究では,新たな解釈可能性フレームワークであるSLIDERを導入し,推論プロセスの品質を評価する。 SLIDERは、部分情報分解(Partial Information Decomposition)と呼ばれる情報理論から生まれた、最後の回答に関する情報を、2つの連続する推論ステップの間に非負のコンポーネント(一意の情報(前ステップまたは現在のステップ)、冗長情報、相乗的情報)に分解する。 この分解に基づいて、現在のステップの解答関連情報が、前ステップの$S_{<i}$に対して、その独特で相乗的貢献に対して、主に冗長であるかどうかを評価する理論的に根拠付けられた尺度である*Step-wise Repetitive Reasoning Index (Step-RRI)*を提案する。 繰り返し検出におけるStep-RRIの有効性を評価するため,SLIDERをPRMBenchデータセットの冗長クラスに適用した。 次に、個々の推論軌跡に対する反復性の集合測度である *Trajectory-RRI* を定義する。 その実用的妥当性を示すために,平均トラジェクトリ-RRIは,QwQ-32B,DeepSeek-R1-Distill-Qwen-32B,GPT-4.1にまたがる実際の推論長と強く相関することを示す。 最後に,“Trajectory-RRI-guided data selection for fine-tuning*”を導入し,Trajectory-RRIをベースとしたトレーニングデータの選択により,タスク性能を大きく保ちながら,微調整モデルの推論効率を向上できることを示した。

関連論文リスト

• CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization [54.774620283208776]
  大きな推論モデル(LRM)は、複雑な問題に対処するための長いチェーン・オブ・シント(CoT)推論を強調する。 既存の方法は、CoTトレースから望ましくない知識を完全に排除するか、推論プロセスへの干渉によって推論性能を低下させるかのいずれかである。 LRMにおけるCoT推論の目的的介入として、非学習を再定義する新しいフレームワークである反復的選好最適化(CiPO)を通じて、対実的アンラーニングを導入する。
  論文  参考訳（メタデータ） (2026-04-17T08:56:36Z)
• Procedural Knowledge at Scale Improves Reasoning [25.36077714467684]
  Reasoning Memoryは、大規模に手続き的な知識を明示的に取り出し再利用する、推論モデルのためのフレームワークである。 Reasoning Memoryは、ドキュメント、トラジェクトリ、テンプレートの知識、および計算に適合したテスト時間スケーリングベースラインで、RAGを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-04-01T20:01:47Z)
• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling [39.61818305829112]
  PIR(Perplexity-based Importance Refinement)は,各推論ステップの重要性を定量的に評価するフレームワークである。 PIRは、プログレッシブ推論コンポーネントを保持しながら、低重要機能ステップのみを特定し、選択的にプーンする。 我々のアプローチは、異なるモデルサイズ、データソース、トークン予算にまたがる強力な一般化可能性を示す。
  論文  参考訳（メタデータ） (2025-05-25T15:17:57Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)
• Mutual Information Learned Regressor: an Information-theoretic Viewpoint of Training Regression Systems [10.314518385506007]
  回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。 近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。 本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
  論文  参考訳（メタデータ） (2022-11-23T03:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。