論文の概要: KG-BiLM: Knowledge Graph Embedding via Bidirectional Language Models

• arxiv url: http://arxiv.org/abs/2506.03576v1
• Date: Wed, 04 Jun 2025 04:47:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.160046
• Title: KG-BiLM: Knowledge Graph Embedding via Bidirectional Language Models
• Title（参考訳）: KG-BiLM:双方向言語モデルによる知識グラフ埋め込み
• Authors: Zirui Chen, Xin Wang, Zhao Li, Wenbin Guo, Dongxiao He,
• Abstract要約: KG-BiLMは、KGの構造的手がかりを生成変換器の意味表現性と融合させる双方向のLMフレームワークである。 KG-BiLMには3つの重要な要素がある: (i) 双方向知識注意; すべてのトークンとエンティティ間の完全な相互作用を可能にするために因果マスクを除去する; (ii) 局所的な意味的コンテキストとグローバルなグラフ接続の両方を活用することを奨励するナレッジ・マスク予測; (iii) コントラストグラフセマンティック・アグリゲーション — サンプル化されたサブグラフ表現のコントラストアライメントを通じてKG構造を保存する。
• 参考スコア（独自算出の注目度）: 16.2387767061355
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in knowledge representation learning (KRL) highlight the urgent necessity to unify symbolic knowledge graphs (KGs) with language models (LMs) for richer semantic understanding. However, existing approaches typically prioritize either graph structure or textual semantics, leaving a gap: a unified framework that simultaneously captures global KG connectivity, nuanced linguistic context, and discriminative reasoning semantics. To bridge this gap, we introduce KG-BiLM, a bidirectional LM framework that fuses structural cues from KGs with the semantic expressiveness of generative transformers. KG-BiLM incorporates three key components: (i) Bidirectional Knowledge Attention, which removes the causal mask to enable full interaction among all tokens and entities; (ii) Knowledge-Masked Prediction, which encourages the model to leverage both local semantic contexts and global graph connectivity; and (iii) Contrastive Graph Semantic Aggregation, which preserves KG structure via contrastive alignment of sampled sub-graph representations. Extensive experiments on standard benchmarks demonstrate that KG-BiLM outperforms strong baselines in link prediction, especially on large-scale graphs with complex multi-hop relations - validating its effectiveness in unifying structural information and textual semantics.
• Abstract（参考訳）: 近年の知識表現学習 (KRL) は,記号的知識グラフ (KG) を言語モデル (LM) と統合し,より豊かな意味理解を実現する必要性を強調している。 しかし、既存のアプローチはグラフ構造またはテキストの意味論を優先し、ギャップを残している:グローバルなKG接続性、ニュアンス付き言語コンテキスト、差別的な推論の意味論を同時にキャプチャする統一されたフレームワーク。 このギャップを埋めるために、生成トランスのセマンティック表現性でKGの構造的手がかりを融合する双方向LMフレームワークであるKG-BiLMを導入する。 KG-BiLMには3つの重要な要素がある。 一 すべてのトークン及び実体の完全な相互作用を可能にするために因果マスクを除去する双方向知識注意 (ii)局所的な意味的コンテキストとグローバルなグラフ接続の両方を活用するモデルを奨励する知識マップ予測。 3) サンプル部分グラフ表現のコントラストアライメントによりKG構造を保存するコントラストグラフセマンティックアグリゲーション。 KG-BiLMはリンク予測において、特に複雑なマルチホップ関係を持つ大規模グラフにおいて、その構造情報とテキストのセマンティクスを統一する効果を検証している。

関連論文リスト

• SEMMA: A Semantic Aware Knowledge Graph Foundation Model [34.001718474850676]
  知識グラフ基礎モデル(KGFM)は、転送可能なパターンを学習することによって、目に見えないグラフに対するゼロショット推論を可能にすることを約束している。 本稿では, 変換可能なテキストセマンティクスと構造を結合したデュアルモジュールKGFMであるSEMMAを紹介する。 より困難な一般化設定では、テスト時間関係ボキャブラリは完全に見えず、構造的手法は崩壊し、SEMMAは2倍効率がよい。
  論文  参考訳（メタデータ） (2025-05-26T18:15:25Z)
• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models [17.88134311726175]
  本稿では,知識グラフと大規模言語モデルとのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するためのフレームワークを提案する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することがわかった。 微調整されたLLaMA2とLLaMA3.1は、KGリンク予測と三重分類タスクよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2025-01-30T03:40:20Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis [96.53859361560505]
  本稿では,知識グラフ拡張ネットワーク(KGAN)を提案する。 KGANは感情の特徴表現を、文脈、構文、知識に基づく複数の視点から捉えている。 3つの人気のあるABSAベンチマークの実験は、我々のKGANの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2022-01-13T08:25:53Z)
• On the Role of Conceptualization in Commonsense Knowledge Graph Construction [59.39512925793171]
  アトミックやASERのような常識知識グラフ(CKG)は、従来のKGと大きく異なる。 本稿では, CKG の概念化手法を紹介し, テキストに記述されたエンティティを特定の概念のインスタンスとみなすか, あるいはその逆を例に紹介する。 提案手法は, 可塑性三重項を効果的に同定し, 新たなノードの3重項と, 多様性と新規性の両端項によってKGを拡張できる。
  論文  参考訳（メタデータ） (2020-03-06T14:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。