論文の概要: Enhancing Large Language Model for Knowledge Graph Completion via Structure-Aware Alignment-Tuning

• arxiv url: http://arxiv.org/abs/2509.01166v1
• Date: Mon, 01 Sep 2025 06:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.560616
• Title: Enhancing Large Language Model for Knowledge Graph Completion via Structure-Aware Alignment-Tuning
• Title（参考訳）: 構造認識アライメントチューニングによる知識グラフ補完のための大規模言語モデルの強化
• Authors: Yu Liu, Yanan Cao, Xixun Lin, Yanmin Shang, Shi Wang, Shirui Pan,
• Abstract要約: 知識グラフ補完(KGC)は、知識グラフから新しい知識を推測し、予測することを目的としている。 既存の手法は、自然言語とグラフ構造の間の矛盾した表現空間を無視することが多い。 構造認識アライメントチューニングにより,KGCのためのLLMを強化する新しいフレームワークSATを提案する。
• 参考スコア（独自算出の注目度）: 52.78024385391959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graph completion (KGC) aims to infer new knowledge and make predictions from knowledge graphs. Recently, large language models (LLMs) have exhibited remarkable reasoning capabilities. LLM-enhanced KGC methods primarily focus on designing task-specific instructions, achieving promising advancements. However, there are still two critical challenges. First, existing methods often ignore the inconsistent representation spaces between natural language and graph structures. Second, most approaches design separate instructions for different KGC tasks, leading to duplicate works and time-consuming processes. To address these challenges, we propose SAT, a novel framework that enhances LLMs for KGC via structure-aware alignment-tuning. Specifically, we first introduce hierarchical knowledge alignment to align graph embeddings with the natural language space through multi-task contrastive learning. Then, we propose structural instruction tuning to guide LLMs in performing structure-aware reasoning over KGs, using a unified graph instruction combined with a lightweight knowledge adapter. Experimental results on two KGC tasks across four benchmark datasets demonstrate that SAT significantly outperforms state-of-the-art methods, especially in the link prediction task with improvements ranging from 8.7% to 29.8%.
• Abstract（参考訳）: 知識グラフ補完(KGC)は、知識グラフから新しい知識を推測し、予測することを目的としている。 近年,大規模言語モデル (LLM) は顕著な推論能力を示した。 LLMで強化されたKGC法は主にタスク固有の命令の設計に重点を置いており、将来的な進歩を達成している。 しかし、2つの重要な課題がある。 まず、既存の手法は自然言語とグラフ構造の間の矛盾した表現空間を無視することが多い。 第二に、ほとんどのアプローチは異なるKGCタスクに対して別々の命令を設計する。 これらの課題に対処するため,構造を考慮したアライメントチューニングにより,KGCのためのLLMを強化する新しいフレームワークSATを提案する。 具体的には、まず階層的な知識アライメントを導入し、マルチタスクのコントラスト学習を通じてグラフ埋め込みを自然言語空間と整合させる。 そこで我々は,KGを用いた構造認識推論において,軽量な知識アダプタと組み合わせた統一グラフ命令を用いてLLMを誘導する構造的命令チューニングを提案する。 4つのベンチマークデータセットにわたる2つのKGCタスクの実験結果によると、SATは最先端の手法、特に8.7%から29.8%の改善を含むリンク予測タスクで大幅に性能が向上している。

関連論文リスト

• Filter-then-Generate: Large Language Models with Structure-Text Adapter for Knowledge Graph Completion [20.973071287301067]
  大規模言語モデル(LLM)は、膨大な固有の知識と優れた意味理解能力を示す。 実証的な証拠は、LLMは従来の知識グラフ補完手法よりも一貫して性能が悪いことを示唆している。 そこで本研究では,これらの課題に対処するために,FtGという命令チューニングに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:22:04Z)
• Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning [4.741342276627672]
  微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。 そこで本研究では,KGC(SATKGC)のためのサブグラフ認識学習フレームワークを提案する。 (i)サブグラフ認識のミニバッチ化により,ハードネガティブサンプリングの促進とトレーニング中のエンティティ発生頻度の不均衡を軽減すること,および (ii)知識グラフの構造特性の観点から,よりハードなインバッチ負三重項とハードポジティブ三重項にフォーカスする新たなコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:25:37Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。