論文の概要: GraphGhost: Tracing Structures Behind Large Language Models

• arxiv url: http://arxiv.org/abs/2510.08613v1
• Date: Tue, 07 Oct 2025 20:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.193319
• Title: GraphGhost: Tracing Structures Behind Large Language Models
• Title（参考訳）: GraphGhost: 大きな言語モデルの背後にあるトレース構造
• Authors: Xinnan Dai, Kai Guo, Chung-Hsiang Lo, Shenglai Zeng, Jiayuan Ding, Dongsheng Luo, Subhabrata Mukherjee, Jiliang Tang,
• Abstract要約: ニューロンの活性化とシグナル伝達をグラフとして表現する統合フレームワークであるGraphGhostを紹介する。 このグラフに基づくパースペクティブにより、PageRankのようなグラフアルゴリズムを用いて、大規模言語モデルの特性を特徴付けることができる。 主要なニューロンノードへの編集は推論の崩壊を引き起こし、論理的フローと意味的理解の両方を変化させることを示した。
• 参考スコア（独自算出の注目度）: 48.8586898059844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate remarkable reasoning capabilities, yet the structural mechanisms underlying these abilities remain under explored. In this work, we introduce GraphGhost, a unified framework that represents neuron activations and their signal propagation as graphs, explaining how LLMs capture structural semantics from sequential inputs and generate outputs through structurally consistent mechanisms. This graph-based perspective enables us to employ graph algorithms such as PageRank to characterize the properties of LLMs, revealing both shared and model-specific reasoning behaviors across diverse datasets. We further identify the activated neurons within GraphGhost and evaluate them through structural interventions, showing that edits to key neuron nodes can trigger reasoning collapse, altering both logical flow and semantic understanding. Together, these contributions position GraphGhost as a powerful tool for analyzing, intervening in, and ultimately understanding the structural foundations of reasoning in LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、顕著な推論能力を示しているが、これらの能力の基盤となる構造メカニズムはまだ検討中である。 本稿では,ニューロンの活性化とそのシグナル伝達をグラフとして表現する統合フレームワークであるGraphGhostを紹介し,LLMが逐次入力から構造的意味を捕捉し,構造的に一貫した機構を通じて出力を生成する方法を説明する。 このグラフに基づくパースペクティブにより、PageRankのようなグラフアルゴリズムを使用して、LLMの特性を特徴づけ、多様なデータセット間で共有およびモデル固有の推論の振る舞いを明らかにすることができる。 さらに、GraphGhost内の活性化ニューロンを同定し、構造的介入を通じて評価し、主要なニューロンノードへの編集が推論崩壊を引き起こし、論理的フローと意味的理解の両方を変化させることを示す。 これらの貢献により、GraphGhostはLLMにおける推論の構造的基盤を分析し、介入し、最終的に理解するための強力なツールとして位置づけられた。

関連論文リスト

• Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data [10.907949155931474]
  大規模言語モデル(LLM)がグラフ構造化データをどのように処理するかを検討する。 LLMがグラフ構造データにどのように注意を向けるかというユニークな現象を明らかにする。 LLMによるデータモデリングを改善するために,これらの結果を分析した。
  論文  参考訳（メタデータ） (2025-05-04T14:40:31Z)
• Scalability Matters: Overcoming Challenges in InstructGLM with Similarity-Degree-Based Sampling [1.2805157669888096]
  提案するSDM-InstructGLMは,GNNに依存することなく,拡張性と効率を向上する命令調整グラフ言語モデル(InstructGLM)フレームワークである。 本手法では,ノード間類似度と次数集中度に基づいてグラフ情報を選択的にサンプリングし,符号化する,類似度に基づくバイアス付きランダムウォーク機構を提案する。 本結果は,LLMのみのグラフ処理の実現可能性を示し,命令ベースの微調整によって最適化されたスケーラブルかつ解釈可能なグラフ言語モデル(GLM)を実現する。
  論文  参考訳（メタデータ） (2025-05-02T06:08:21Z)
• Graph Self-Supervised Learning with Learnable Structural and Positional Encodings [39.20899720477907]
  我々は、$k$-hopメッセージパッシングスキームを統合したGNNフレームワークであるemphGenHopNetを紹介する。 また,学習過程全体を通してトポロジ的情報を組み込んだ構造的および位置対応GSSLフレームワークを提案する。 我々の研究は、類似の局所構造を持つグラフと異なるグローバルトポロジを持つグラフを区別するGSSLの能力を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-02-22T14:10:06Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling [10.907949155931474]
  本稿では,グラフ構造モデリングと自然言語理解をトークンレベルで整合させるLangTopoを紹介する。 複数のデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-06-19T06:20:22Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Motif-based Graph Representation Learning with Application to Chemical Molecules [11.257235936629689]
  既存のグラフニューラルネットワークは、局所的な構造的コンテキスト内で複雑な相互作用をキャプチャする限られた能力を提供する。 局所構造情報をよりよく活用するためのモチーフに基づくグラフ表現学習手法を提案する。 MCMは、教師なしの方法でモチーフ語彙を構築し、新しいモチーフ畳み込み操作を展開し、局所構造コンテキストを抽出する。
  論文  参考訳（メタデータ） (2022-08-09T03:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。