論文の概要: Formalizing and Mitigating Structural Distortion in LLM Attention for Graph Reasoning

• arxiv url: http://arxiv.org/abs/2606.15633v2
• Date: Wed, 17 Jun 2026 05:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 13:57:35.191431
• Title: Formalizing and Mitigating Structural Distortion in LLM Attention for Graph Reasoning
• Title（参考訳）: グラフ推論のためのLLM注意における構造歪みの形式化と緩和
• Authors: Donald Loveland, Puja Trivedi, Ari Weinstein, Edward W Huang, Danai Koutra,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)に対する推論を約束している。 LLMをグラフに適用するには、グラフ帯域幅問題に根ざした歪みを導入し、それらの構造をシーケンスに線形化する必要がある。 テキストショー回転位置埋め込みは、グラフ線形化を帯域依存の注意減衰に変換し、グラフ隣接ノード間の注意を抑制する。
• 参考スコア（独自算出の注目度）: 15.90418509592996
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown promise for reasoning over Text-Attributed Graphs (TAGs). However, applying LLMs to graphs requires linearizing their structure into sequences, introducing distortion rooted in the graph bandwidth problem. While this distortion has been shown to degrade performance, it is often attributed to prompt design or model scale, leaving the underlying mechanism unclear. In this work, we show \textit{how} rotary positional embeddings turn graph linearization into bandwidth-dependent attention decay, suppressing attention between graph-adjacent nodes that are forced far apart in the serialized sequence. This shifts the focus of LLM-based graph reasoning from prompt engineering and scaling toward correcting attention misalignment. Motivated by this analysis, we propose \textbf{G}raph-\textbf{a}ligned \textbf{L}anguage \textbf{A}ttention (\textbf{GaLA}), a lightweight, inference-time modification for LLMs. GaLA biases attention toward graph-adjacent nodes while preserving the LLM's sequential inductive biases. Across TAG benchmarks, GaLA improves performance with negligible overhead, demonstrating that distortion is a correctable bottleneck in LLM-based graph reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)に対する推論を約束している。 しかし、LLMをグラフに適用するには、グラフ帯域幅問題に根ざした歪みを導入し、それらの構造をシーケンスに線形化する必要がある。 この歪みは性能を低下させることが示されているが、しばしば設計やモデルスケールの急激な改善によるものとされ、基礎となるメカニズムははっきりしないままである。 本研究では, グラフ線形化を帯域依存の注意減衰に変換し, 直列化シーケンスではるかに離れているグラフ隣接ノード間の注意を抑える。 これにより、LLMベースのグラフ推論の焦点が、迅速なエンジニアリングとスケーリングから、注意欠陥の修正へとシフトする。 この分析により, LLM に対する軽量な推論時間修正である \textbf{G}raph-\textbf{a}ligned \textbf{L}anguage \textbf{A}ttention (\textbf{GaLA}) を提案する。 GaLAは、LCMの逐次帰納バイアスを保持しながら、グラフ隣接ノードに注意を向ける。 TAGベンチマーク全体で、GaLAは無視可能なオーバーヘッドでパフォーマンスを改善し、LLMベースのグラフ推論において歪みが修正可能なボトルネックであることを実証している。

関連論文リスト

• SLASH the Sink: Sharpening Structural Attention Inside LLMs [55.75072688988806]
  大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:59:07Z)
• Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning [0.0]
  本稿では,事前学習によるグラフトポロジ処理を可能にする新しいアーキテクチャであるグラフトランスフォーマー言語モデル(GTLM)を紹介する。 GTLMは例外的にパラメータ効率が高く、LLMのアテンションモジュールに直接グラフ認識のアテンションバイアスを注入する。 我々は,GTLMのアテンションヘッドが暗黙的にメッセージパッシングをシミュレートし,アルゴリズム上の優れた性能を説明することを実証した。
  論文  参考訳（メタデータ） (2026-05-11T09:19:55Z)
• Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning [17.712367049197212]
  大きな言語モデル(LLM)がグラフをよりよく理解できるように、グラフデータを言語空間と整合させることが課題である。 GTokenLLMは複雑な構造と長いテキストをグラフトークンシーケンスにエンコードし、言語命令のチューニングを通じてテキストトークンと整列する。 最初の成功にもかかわらず、我々の情報理論分析により、既存のGTokenLLMは言語命令からのテキスト管理のみに依存していることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-02T02:26:54Z)
• Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
  本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。 SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。 SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-01-19T08:10:53Z)
• GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning [50.40400074353263]
  グラフニューラルネットワーク(GNN)は、リレーショナルデータを先行する強力なツールであるが、しばしば目に見えないグラフに一般化するのに苦労する。 textbfGraph textbfIn-context textbfL textbfTransformer (GILT)を導入する。
  論文  参考訳（メタデータ） (2025-10-06T08:09:15Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [79.75818239774952]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data [10.907949155931474]
  大規模言語モデル(LLM)がグラフ構造化データをどのように処理するかを検討する。 LLMがグラフ構造データにどのように注意を向けるかというユニークな現象を明らかにする。 LLMによるデータモデリングを改善するために,これらの結果を分析した。
  論文  参考訳（メタデータ） (2025-05-04T14:40:31Z)
• LLaGA: Large Language and Graph Assistant [73.71990472543027]
  大規模言語とグラフアシスタント(LLaGA)は、グラフ構造化データの複雑さを扱う革新的なモデルである。 LLaGAは汎用性、一般化性、解釈性に優れており、異なるデータセットやタスク間で一貫して動作する。 実験の結果,LLaGAは4つのデータセットと3つのタスクに1つの単一モデルを用いて優れた性能を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-13T02:03:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。