論文の概要: KG-Attention: Knowledge Graph-Guided Attention at Test-Time via Bidirectional Information Aggregation

• arxiv url: http://arxiv.org/abs/2507.08704v1
• Date: Fri, 11 Jul 2025 15:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.413398
• Title: KG-Attention: Knowledge Graph-Guided Attention at Test-Time via Bidirectional Information Aggregation
• Title（参考訳）: KG-Attention:双方向情報集約によるテスト時間における知識グラフ誘導注意
• Authors: Songlin Zhai, Guilin Qi, Yuan Meng,
• Abstract要約: 知識グラフは大規模言語モデル(LLM)の強化に重要な役割を果たしている 既存のKG強化アプローチの多くはパラメータ集約的な微調整に依存しており、これは破滅的な忘れ込みを危険にさらし、事前訓練されたモデルの一般化を低下させる。 我々は,専用の知識グラフ誘導注意(KGA)モジュールを中心に構築されたLLM用テストタイムKG拡張フレームワークについて紹介する。
• 参考スコア（独自算出の注目度）: 12.503364479613857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graphs (KGs) play a critical role in enhancing large language models (LLMs) by introducing structured and grounded knowledge into the learning process. However, most existing KG-enhanced approaches rely on parameter-intensive fine-tuning, which risks catastrophic forgetting and degrades the pretrained model's generalization. Moreover, they exhibit limited adaptability to real-time knowledge updates due to their static integration frameworks. To address these issues, we introduce the first test-time KG-augmented framework for LLMs, built around a dedicated knowledge graph-guided attention (KGA) module that enables dynamic knowledge fusion without any parameter updates. The proposed KGA module augments the standard self-attention mechanism with two synergistic pathways: outward and inward aggregation. Specifically, the outward pathway dynamically integrates external knowledge into input representations via input-driven KG fusion. This inward aggregation complements the outward pathway by refining input representations through KG-guided filtering, suppressing task-irrelevant signals and amplifying knowledge-relevant patterns. Importantly, while the outward pathway handles knowledge fusion, the inward path selects the most relevant triples and feeds them back into the fusion process, forming a closed-loop enhancement mechanism. By synergistically combining these two pathways, the proposed method supports real-time knowledge fusion exclusively at test-time, without any parameter modification. Extensive experiments on five benchmarks verify the comparable knowledge fusion performance of KGA.
• Abstract（参考訳）: 知識グラフ(KG)は,学習プロセスに構造化知識と基礎知識を導入することで,大規模言語モデル(LLM)の強化に重要な役割を果たしている。 しかし、既存のKG強化アプローチのほとんどはパラメータ集約的な微調整に依存しており、これは破滅的な忘れ込みを危険にさらし、事前訓練されたモデルの一般化を低下させる。 さらに、静的な統合フレームワークのため、リアルタイムの知識更新への適応性が制限されている。 これらの問題に対処するために,我々は,パラメータを更新せずに動的知識融合を可能にする専用の知識グラフ誘導注意(KGA)モジュールを中心に構築された,LSM用のテスト時KG拡張フレームワークを紹介した。 提案されたKGAモジュールは、2つの相乗的経路(外向きと内向きの凝集)で標準的な自己保持機構を増強する。 具体的には、外部知識を入力駆動KG融合による入力表現に動的に統合する。 この内向きアグリゲーションは、KG誘導フィルタリングによる入力表現の精製、タスク非関連信号の抑制、知識関連パターンの増幅により、外向きの経路を補完する。 重要なことは、外向き経路が知識融合を処理する一方で、内向き経路は最も関係の深い三重項を選択して融合プロセスにフィードバックし、閉ループ拡張機構を形成することである。 これら2つの経路を相乗的に組み合わせることで,提案手法は,パラメータ修正を伴わずに,テスト時にのみリアルタイム知識融合をサポートする。 5つのベンチマークでの大規模な実験は、KGAの知識融合性能に匹敵するものである。

関連論文リスト

• Towards Improving Long-Tail Entity Predictions in Temporal Knowledge Graphs through Global Similarity and Weighted Sampling [53.11315884128402]
  時間知識グラフ(TKG)補完モデルは、伝統的にトレーニング中にグラフ全体へのアクセスを前提としている。 本稿では,TKGに特化して設計されたインクリメンタルトレーニングフレームワークを提案する。 提案手法は,モデルに依存しない拡張層と加重サンプリング戦略を組み合わせることで,既存のTKG補完手法を拡張および改善することができる。
  論文  参考訳（メタデータ） (2025-07-25T06:02:48Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs [66.35046942874737]
  KG-Infused RAGは、拡散活性化を実装するためにKGをRAGシステムに統合するフレームワークである。 KG-Infused RAGはKGの事実を検索し、クエリを拡張し、コーパスと構造化された事実を組み合わせることで生成を強化する。
  論文  参考訳（メタデータ） (2025-06-11T09:20:02Z)
• Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models [51.47994645529258]
  本稿では,問合せをGNNアグリゲーションに組み込んでKG関連性を動的に評価するQAP(QA-Aware Knowledge Graph Prompting)を提案する。 実験の結果、QAPは複数のデータセットで最先端の手法よりも優れており、その有効性を強調している。
  論文  参考訳（メタデータ） (2025-03-30T17:09:11Z)
• ADKGD: Anomaly Detection in Knowledge Graphs with Dual-Channel Training [38.3788247358102]
  本稿では、二重チャネル学習(ADKGD)を用いた知識グラフにおける異常検出アルゴリズムを提案する。 両チャネル間のスコアリング関数の精度を向上させるために,KL(Kullback-leibler)-loss成分を導入する。 実験の結果,ADKGDは最先端の異常検出アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-13T06:22:52Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Heterogeneous Hypergraph Embedding for Recommendation Systems [45.49449132970778]
  知識強化ヘテロジニアスハイパーグラフレコメンダシステム(KHGRec)について紹介する。 KHGRecは、相互作用ネットワークとKGの両方のグループワイド特性を捉え、KGの複雑な接続をモデル化する。 入力グラフからの信号を、クロスビューで自己教師付き学習とアテンションメカニズムで融合する。
  論文  参考訳（メタデータ） (2024-07-04T06:09:11Z)
• Link-Intensive Alignment for Incomplete Knowledge Graphs [28.213397255810936]
  本研究では,不完全KGと表現学習の整合性の問題に対処する。 我々のフレームワークは、推移性に基づく2つの特徴チャネルと近接性に基づく2つの特徴チャネルを利用する。 2つの特徴チャネルは、入力KG間で重要な特徴を交換するために共同で学習される。 また,学習過程中に欠落したリンクを検出し,回復するリンク検出装置も開発した。
  論文  参考訳（メタデータ） (2021-12-17T00:41:28Z)
• Towards Robust Knowledge Graph Embedding via Multi-task Reinforcement Learning [44.38215560989223]
  既存の知識グラフ埋め込み法の多くは、KGの3つの事実はすべて正しいと仮定する。 これはKGの低品質かつ信頼性の低い表現につながる。 本稿では,ノイズの多いデータ問題を大幅に軽減できる汎用マルチタスク強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-11T08:51:37Z)
• Learning Intents behind Interactions with Knowledge Graph for Recommendation [93.08709357435991]
  知識グラフ(KG)は、推薦システムにおいてますます重要な役割を果たす。 既存のGNNベースのモデルは、きめ細かいインテントレベルでのユーザ項目関係の特定に失敗します。 本稿では,新しいモデルである知識グラフベースインテントネットワーク(kgin)を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。