論文の概要: SLASH the Sink: Sharpening Structural Attention Inside LLMs

• arxiv url: http://arxiv.org/abs/2605.10503v2
• Date: Tue, 12 May 2026 06:44:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 18:21:07.128007
• Title: SLASH the Sink: Sharpening Structural Attention Inside LLMs
• Title（参考訳）: シンクのSLASH: LLM内部の構造的注意の強化
• Authors: Yiming Liu, Bin Lu, Xinbing Wang, Chenghu Zhou, Meng Jin,
• Abstract要約: 大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 本稿では,StructuraL Attention SHarpening (SLASH)を提案する。
• 参考スコア（独自算出の注目度）: 55.75072688988806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) show remarkable semantic understanding but often struggle with structural understanding when processing graph topologies in a serialized format. Existing solutions rely on training external graph-based adapters or fine-tuning, which incur high costs and lost generalizability. In this work, we investigate the internal mechanisms of LLMs and present a critical finding: LLMs spontaneously reconstruct the graph's topology internally, evidenced by a distinct "sawtooth" pattern in their attention maps that structurally aligns with the "token-level adjacency matrix". However, this intrinsic structural understanding is diluted by the attention sink. We theoretically formalize this dilution as a representation bottleneck, stemming from a fundamental conflict: the model's anisotropic bias, essential for language tasks, suppresses the topology-aware local aggregation required for graph reasoning. To address this, we propose a training-free solution, named StructuraL Attention SHarpening (SLASH), which amplifies this internal structural understanding via a plug-and-play attention redistribution. Experiments on pure graph tasks and molecular prediction validate thst SLASH delivers significant and consistent performance gains across diverse LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい意味的理解を示すが、しばしば連続化されたフォーマットでグラフトポロジを処理する際に構造的理解に苦慮する。 既存のソリューションは、外部グラフベースのアダプタや微調整のトレーニングに頼っている。 本研究では, LLMの内部機構を解明し, 重要な発見を行う: LLMは自然にグラフのトポロジを再構成し, その注意図において, 構造的に「token-level adjacency matrix」と整合する「sawtooth」パターンによって証明される。 しかし、本質的な構造的理解は、注意シンクによって薄められている。 モデルの異方性バイアスは、言語タスクに必須であり、グラフ推論に必要なトポロジを意識した局所的な集約を抑圧する。 これを解決するために,StructuraL Attention SHarpening (SLASH) という学習不要のソリューションを提案する。 純粋なグラフタスクと分子予測によるSLASHの検証実験は、多様なLLMに対して顕著で一貫した性能向上をもたらす。

関連論文リスト

• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• When Structure Doesn't Help: LLMs Do Not Read Text-Attributed Graphs as Effectively as We Expected [10.031229573133709]
  大規模言語モデル(LLM)は、自然言語の理解とクロスモーダル信号の統合に長けている。 最近の研究は、グラフ構造を符号化するための異なる戦略が、テキスト分散グラフ上でのLLMのパフォーマンスにどのように影響するかを考察している。 明示的な構造的前提はしばしば不要であり、場合によっては、強力な言語モデルが関与する場合は非生産的であることを示す。
  論文  参考訳（メタデータ） (2025-11-20T19:34:58Z)
• Learning Linear Regression with Low-Rank Tasks in-Context [8.347662730632047]
  In-context Learning (ICL)は、現代の大規模言語モデルの鍵となる構成要素である。 低ランク回帰タスクで訓練された線形アテンションモデルを分析する。 有限事前学習データの統計的変動は暗黙の正則化を引き起こす。
  論文  参考訳（メタデータ） (2025-10-06T07:27:49Z)
• Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework [13.533352973355013]
  Low-Rank Adaptation (LoRA)は、大きな言語モデルでドメイン固有の知識を驚くほど効率よく取得することを可能にする。 本研究は,知識グラフを基盤としたファクトファクトを介し,微調整 LLM を記述した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-25T14:37:40Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• Beyond the Linear Separability Ceiling: Aligning Representations in VLMs [2.561649173827544]
  線形分離性シーリング(LSC)を中心とした診断フレームワークについて紹介する。 私たちは、ほとんどのモデルが、自身の表現を生成的に上回ることに失敗する、広範に広がる「アライメントギャップ」を明らかにする。 コントラスト目的の標準次トーケン予測を増強することにより、細調整法は休眠推論経路を活性化する。
  論文  参考訳（メタデータ） (2025-07-10T09:23:32Z)
• Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data [10.907949155931474]
  大規模言語モデル(LLM)がグラフ構造化データをどのように処理するかを検討する。 LLMがグラフ構造データにどのように注意を向けるかというユニークな現象を明らかにする。 LLMによるデータモデリングを改善するために,これらの結果を分析した。
  論文  参考訳（メタデータ） (2025-05-04T14:40:31Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。