論文の概要: From Chains to DAGs: Probing the Graph Structure of Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2601.17593v1
• Date: Sat, 24 Jan 2026 21:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.009265
• Title: From Chains to DAGs: Probing the Graph Structure of Reasoning in LLMs
• Title（参考訳）: 鎖からDAGへ:LLMにおける推論のグラフ構造を探る
• Authors: Tianjun Zhong, Linyang He, Nima Mesgarani,
• Abstract要約: 本稿では,DAG形状の推論がモデル内部にエンコードされているかどうかを問うフレームワークであるReasoning DAG Probingを紹介する。 我々はこれらのプローブを用いて、DAG構造の階層的出現を分析し、推論関連構造を乱す制御を評価する。 この結果から,DAGの幾何学的推論が中間層に有意に符号化されていることを示す。
• 参考スコア（独自算出の注目度）: 14.863369207533966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in large language models has renewed interest in mechanistically characterizing how multi-step reasoning is represented and computed. While much prior work treats reasoning as a linear chain of steps, many reasoning problems are more naturally structured as directed acyclic graphs (DAGs), where intermediate conclusions may depend on multiple premises, branch into parallel sub-derivations, and later merge or be reused. Understanding whether such graph-structured reasoning is reflected in model internals remains an open question. In this work, we introduce Reasoning DAG Probing, a framework that directly asks whether LLM hidden states encode the geometry of a reasoning DAG in a linearly accessible form, and where this structure emerges across layers. Within this framework, we associate each reasoning node with a textual realization and train lightweight probes to predict two graph-theoretic properties from hidden states: node depth and pairwise node distance. We use these probes to analyze the layerwise emergence of DAG structure and evaluate controls that disrupt reasoning-relevant structure while preserving superficial textual properties. Our results provide evidence that reasoning DAG geometry is meaningfully encoded in intermediate layers, with recoverability varying systematically by node depth and model scale, suggesting that LLM reasoning is not only sequential but exhibits measurable internal graph structure.
• Abstract（参考訳）: 大規模言語モデルの最近の進歩は、マルチステップ推論がどのように表現され、計算されるかを機械的に特徴付けることに再び関心を寄せている。 多くの先行研究は推論をステップの線形連鎖として扱うが、多くの推論問題は有向非巡回グラフ(DAG)としてより自然に構造化される。 このようなグラフ構造的推論がモデル内部に反映されるかどうかを理解することは、未解決の問題である。 本研究では,LLM隠れ状態が線形アクセス可能な形で推論DAGの幾何学を符号化するかどうかを直接問うフレームワークであるReasoning DAG Probingを紹介する。 本フレームワークでは,各推論ノードをテキスト実現に関連付け,隠れた状態から2つのグラフ理論特性(ノード深さとペアワイズノード距離)を予測するために軽量プローブを訓練する。 我々はこれらのプローブを用いてDAG構造の階層的出現を分析し,表層的テクスチャ特性を維持しながら推論関連構造を乱す制御を評価する。 この結果から,DAG測度が中間層に有意に符号化され,ノード深度やモデルスケールによって復元性が体系的に変化していることが示唆され,LCM測度は逐次的ではなく,測定可能な内部グラフ構造を示すことが示唆された。

関連論文リスト

• From Chains to Graphs: Self-Structured Reasoning for General-Domain LLMs [52.0811904328273]
  現実の推論には、複数の前提を統合し、サブプロブレムを並列に解決する必要がある。 最近のアプローチでは、外部に提供されたグラフに依存しており、LCMが独自のグラフ構造化推論を構築し、利用する方法については検討していない。 我々は,LLMが最終回答を生成する前に,その推論プロセスを構造化グラフとして明示的に表現できるフレームワークであるSelf-Graph Reasoning (SGR)を提案する。
  論文  参考訳（メタデータ） (2026-01-07T05:27:41Z)
• DAG-Math: Graph-Guided Mathematical Reasoning in LLMs [54.231935013127206]
  大型言語モデル (LLM) は, CoT (Chain-of-Thought) による数学的問題に対して高い性能を示す 我々は、有向非巡回グラフ(DAG)上の一定の規則に基づくプロセスとしてCoTをモデル化することを提案する。 ここでは,モデルのCoT軌道がDAG構造にどの程度よく依存するかを定量化する計量である論理的近接性を導入する。
  論文  参考訳（メタデータ） (2025-10-19T21:05:17Z)
• GraphGhost: Tracing Structures Behind Large Language Models [48.8586898059844]
  ニューロンの活性化とシグナル伝達をグラフとして表現する統合フレームワークであるGraphGhostを紹介する。 このグラフに基づくパースペクティブにより、PageRankのようなグラフアルゴリズムを用いて、大規模言語モデルの特性を特徴付けることができる。 主要なニューロンノードへの編集は推論の崩壊を引き起こし、論理的フローと意味的理解の両方を変化させることを示した。
  論文  参考訳（メタデータ） (2025-10-07T20:28:19Z)
• You Don't Need Pre-built Graphs for RAG: Retrieval Augmented Generation with Adaptive Reasoning Structures [16.867592142212203]
  大型言語モデル(LLM)はしばしば幻覚に悩まされ、知識を超えた質問を処理する際に、事実的に誤った文を生成する。 Retrieval-augmented Generation (RAG)は、LLM推論をサポートするために、知識ベースからクエリ関連コンテキストを取得することで、この問題に対処する。 既存のGraphベースのRAGメソッドは、コーパスをグラフに変換するためのコストの高いプロセスに依存しており、圧倒的なトークンコストとアップデートのレイテンシを導入している。 本稿では,推論時に推論構造を動的に抽出し,事前に構築したグラフを使わずに適応検索を誘導するLogicRAGを提案する。
  論文  参考訳（メタデータ） (2025-08-08T08:07:40Z)
• KisMATH: Do LLMs Have Knowledge of Implicit Structures in Mathematical Reasoning? [4.473915603131591]
  思考の連鎖は、多くの推論タスクにおいて、大きな言語モデルの性能を向上させることが示されている。 因果CoTグラフ(Causal CoT Graphs, CCGs)は, 因果トレースから自動的に抽出される非巡回グラフである。
  論文  参考訳（メタデータ） (2025-07-15T15:28:37Z)
• GRS-QA -- Graph Reasoning-Structured Question Answering Dataset [50.223851616680754]
  グラフ推論-構造化質問応答データセット(GRS-QA)を導入する。 既存のM-QAデータセットとは異なり、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的にキャプチャする。 実験により, LLMは, 様々な推論構造を用いて, 問合せ処理を行う際に, 異なる性能を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-01T05:14:03Z)
• Contextual Directed Acyclic Graphs [9.617105933121108]
  観測データから有向非巡回グラフ(DAG)の構造を推定することは、機械学習において重要な課題である。 本稿では、利用可能な「文脈的」な特徴に基づいて、グラフ構造が個人によって異なる別の設定について考察する。 我々は、コンテキスト特徴を重み付けされた隣接行列として表されるDAGにマッピングするニューラルネットワークを介して、このコンテキストDAG問題に取り組む。
  論文  参考訳（メタデータ） (2023-10-24T08:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。