論文の概要: Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing
- arxiv url: http://arxiv.org/abs/2509.20336v1
- Date: Wed, 24 Sep 2025 17:25:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.920805
- Title: Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing
- Title（参考訳）: 回路トラクションを有するデコーダのみの変圧器におけるグラフ推論
- Authors: Xinnan Dai, Chung-Hsiang Lo, Kai Guo, Shenglai Zeng, Dongsheng Luo, Jiliang Tang,
- Abstract要約: 基本デコーダのみの変換器をセットし,回路トラクサフレームワークを用いてそれらを説明する。
我々は、推論トレースを可視化し、トークンのマージと構造記憶という2つのコアメカニズムを識別する。
本研究は,デコーダのみの変換器の構造的推論を理解するための統合的解釈可能性フレームワークを提供する。
- 参考スコア（独自算出の注目度）: 44.121903032922376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based LLMs demonstrate strong performance on graph reasoning tasks, yet their internal mechanisms remain underexplored. To uncover these reasoning process mechanisms in a fundamental and unified view, we set the basic decoder-only transformers and explain them using the circuit-tracer framework. Through this lens, we visualize reasoning traces and identify two core mechanisms in graph reasoning: token merging and structural memorization, which underlie both path reasoning and substructure extraction tasks. We further quantify these behaviors and analyze how they are influenced by graph density and model size. Our study provides a unified interpretability framework for understanding structural reasoning in decoder-only Transformers.
- Abstract（参考訳）: トランスフォーマーベースのLLMは、グラフ推論タスクにおいて強い性能を示すが、内部メカニズムは未解明のままである。
基本的かつ統一的な観点でこれらの推論プロセス機構を明らかにするために、基本デコーダのみの変換器を設定し、回路トラサーフレームワークを用いて説明する。
このレンズを通して、推論トレースを可視化し、トークンのマージと構造記憶という2つのコアメカニズムを識別する。
さらにこれらの挙動を定量化し、グラフ密度とモデルサイズの影響を解析する。
本研究は,デコーダのみの変換器の構造的推論を理解するための統合的解釈可能性フレームワークを提供する。
関連論文リスト
- Selective Induction Heads: How Transformers Select Causal Structures In Context [50.09964990342878]
因果構造を扱うトランスフォーマーの能力を示す新しいフレームワークを提案する。
我々のフレームワークは、遷移確率を固定しつつ、ラグの異なるマルコフ鎖をインターリーブすることで因果構造を変化させる。
この設定は、コンテクスト内で正しい因果構造を選択できる新しい回路である選択誘導ヘッド(Selective induction Heads)を形成する。
論文 参考訳（メタデータ） (2025-09-09T23:13:41Z) - Multi-head Transformers Provably Learn Symbolic Multi-step Reasoning via Gradient Descent [66.78052387054593]
この研究は、トランスフォーマーがシンボリックな多段階推論問題をチェーン・オブ・ソート・プロセスを通してどのように解くかを研究する。
モデルがゴールノードからルートへの経路を出力する後方推論タスクと,より複雑な前方推論タスクである。
訓練された一層変圧器は、木々の一般化を保証することにより、両方の課題を確実に解決できることを示す。
論文 参考訳（メタデータ） (2025-08-11T17:40:47Z) - From Sequence to Structure: Uncovering Substructure Reasoning in Transformers [35.80526987002848]
本稿では,デコーダのみのトランスフォーマーアーキテクチャが基礎となるグラフ構造をいかに理解できるかを示す。
複雑な複合パターンを効率的に抽出するために, サブストラクチャにおける思考の概念を導入する。
この結果から,シーケンスベースのトランスフォーマーがグラフデータ上でサブ構造抽出タスクをどのように実行するか,新たな知見が得られた。
論文 参考訳（メタデータ） (2025-07-11T17:36:24Z) - Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。
回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。
提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
論文 参考訳（メタデータ） (2025-02-13T07:19:05Z) - Enhancing Transformers for Generalizable First-Order Logical Entailment [51.04944136538266]
本稿では,変圧器の1次論理的推論能力をパラメータ化知識を用いて一般化する。
本稿では,一階述語論理エンターメントの性能を大幅に向上させる論理認識アーキテクチャTEGAを提案する。
論文 参考訳（メタデータ） (2025-01-01T07:05:32Z) - Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。
モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:41:26Z) - How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。
我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。
我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
論文 参考訳（メタデータ） (2024-02-22T17:47:03Z) - Signal Propagation in Transformers: Theoretical Perspectives and the
Role of Rank Collapse [11.486545294602697]
我々はトランスフォーマーにおけるランク崩壊の原因と影響に新たな光を当てた。
トークン表現のランク崩壊は,クエリやキーの勾配がなくなることによって,トレーニングを妨げていることを示す。
論文 参考訳（メタデータ） (2022-06-07T09:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。