Fugu-MT 論文翻訳(概要): Topology of Reasoning: Understanding Large Reasoning Models through Reasoning Graph Properties

論文の概要: Topology of Reasoning: Understanding Large Reasoning Models through Reasoning Graph Properties

arxiv url: http://arxiv.org/abs/2506.05744v1
Date: Fri, 06 Jun 2025 05:05:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-09 17:28:43.3223
Title: Topology of Reasoning: Understanding Large Reasoning Models through Reasoning Graph Properties
Title（参考訳）: 推論のトポロジー:グラフ特性による大規模推論モデルの理解
Authors: Gouki Minegishi, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo,
Abstract要約: 本稿では,各推論ステップで隠れ状態表現をクラスタリングすることで抽出した推論グラフの概念を紹介する。複数のタスクにまたがる巡回性、直径、小世界指数の3つの重要なグラフ理論特性を解析する。
参考スコア（独自算出の注目度）: 29.54038148421895
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent large-scale reasoning models have achieved state-of-the-art performance on challenging mathematical benchmarks, yet the internal mechanisms underlying their success remain poorly understood. In this work, we introduce the notion of a reasoning graph, extracted by clustering hidden-state representations at each reasoning step, and systematically analyze three key graph-theoretic properties: cyclicity, diameter, and small-world index, across multiple tasks (GSM8K, MATH500, AIME 2024). Our findings reveal that distilled reasoning models (e.g., DeepSeek-R1-Distill-Qwen-32B) exhibit significantly more recurrent cycles (about 5 per sample), substantially larger graph diameters, and pronounced small-world characteristics (about 6x) compared to their base counterparts. Notably, these structural advantages grow with task difficulty and model capacity, with cycle detection peaking at the 14B scale and exploration diameter maximized in the 32B variant, correlating positively with accuracy. Furthermore, we show that supervised fine-tuning on an improved dataset systematically expands reasoning graph diameters in tandem with performance gains, offering concrete guidelines for dataset design aimed at boosting reasoning capabilities. By bridging theoretical insights into reasoning graph structures with practical recommendations for data construction, our work advances both the interpretability and the efficacy of large reasoning models.
Abstract（参考訳）: 最近の大規模推論モデルは、挑戦的な数学ベンチマークにおいて最先端のパフォーマンスを達成したが、その成功の基盤となる内部メカニズムは未だよく分かっていない。本研究では,各推論ステップで隠れ状態表現をクラスタリングして抽出した推論グラフの概念を導入し,複数のタスク(GSM8K, MATH500, AIME 2024)にわたって,周期性,直径,小世界指数の3つの重要なグラフ理論特性を体系的に解析する。以上の結果から, 蒸留推理モデル (DeepSeek-R1-Distill-Qwen-32B) は, 試料あたりの繰り返しサイクルが有意に増加し, グラフ径が大きくなり, 小世界特性 (約6倍) が基本モデルに比べて顕著であった。特に、これらの構造上の利点はタスクの難易度とモデル能力によって増大し、サイクル検出のピークは14Bスケールで、探索直径は32B変種で最大化され、精度は正に相関する。さらに,改良されたデータセットに対する教師付き微調整は,解析能力の向上を目的としたデータセット設計のための具体的ガイドラインを提供するとともに,性能向上とともにグラフ径の推論を体系的に拡張することを示した。データ構築のための実用的なレコメンデーションを伴う推論グラフ構造の理論的洞察をブリッジすることで、我々の研究は、解釈可能性と大きな推論モデルの有効性の両方を前進させる。

関連論文リスト

GraphOracle: A Foundation Model for Knowledge Graph Reasoning [9.894106590443714]
知識グラフ間の推論を統一する関係中心基盤モデルであるtextbftextscGraphOracleを紹介する。クエリ依存型アテンション機構は,関係性と実体性の両方について帰納的表現を学習するために開発された。多様な知識グラフの事前学習と、数分レベルの微調整により、実体、関係、グラフ全体に対する効果的な一般化が可能となる。
論文参考訳（メタデータ） (2025-05-16T11:14:57Z)
Phi-4-reasoning Technical Report [42.508165017775]
Phi-4-reasoningは14ビリオンのパラメータ推論モデルであり、複雑な推論タスクにおいて高い性能を実現する。我々はPhi-4-reasoning-plusを開発した。どちらのモデルもDeepSeek-R1-Distill-Llama-70Bモデルのような大きなオープンウェイトモデルよりも優れており、完全なDeepSeek-R1モデルのパフォーマンスレベルに近づいている。
論文参考訳（メタデータ） (2025-04-30T05:05:09Z)
Do Larger Language Models Imply Better Reasoning? A Pretraining Scaling Law for Reasoning [89.17086632436363]
本研究では,実世界の大規模知識グラフの構造と分布を再現する合成マルチホップ推論環境を提案する。我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。
論文参考訳（メタデータ） (2025-04-04T17:57:22Z)
Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
論文参考訳（メタデータ） (2024-11-30T10:56:30Z)
Deep Sparse Latent Feature Models for Knowledge Graph Completion [24.342670268545085]
本稿では,知識グラフのためのスパース潜在特徴モデルの新たなフレームワークを提案する。我々のアプローチは、欠落した三重項を効果的に完成するだけでなく、潜伏構造の明確な解釈可能性も提供する。提案手法は,潜在コミュニティを明らかにし,解釈可能な表現を生成することにより,性能を著しく向上させる。
論文参考訳（メタデータ） (2024-11-24T03:17:37Z)
Introducing Diminutive Causal Structure into Graph Representation Learning [19.132025125620274]
本稿では,グラフニューラルネット(GNN)が専門的な最小の因果構造から洞察を得ることを可能にする新しい手法を提案する。本手法は,これらの小型因果構造のモデル表現から因果知識を抽出する。
論文参考訳（メタデータ） (2024-06-13T00:18:20Z)
Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
論文参考訳（メタデータ） (2022-08-18T01:31:25Z)
BCDAG: An R package for Bayesian structure and Causal learning of Gaussian DAGs [77.34726150561087]
観測データから因果関係の発見と因果関係を推定するためのRパッケージを提案する。我々の実装は、観測回数とともに効率的にスケールし、DAGが十分にスパースであるたびに、データセット内の変数の数を削減します。次に、実際のデータセットとシミュレーションデータセットの両方で、主な機能とアルゴリズムを説明します。
論文参考訳（メタデータ） (2022-01-28T09:30:32Z)
Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。