論文の概要: KG-FIT: Knowledge Graph Fine-Tuning Upon Open-World Knowledge

• arxiv url: http://arxiv.org/abs/2405.16412v2
• Date: Tue, 4 Jun 2024 07:35:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 09:02:44.701904
• Title: KG-FIT: Knowledge Graph Fine-Tuning Upon Open-World Knowledge
• Title（参考訳）: KG-FIT:知識グラフの微調整とオープンワールドの知識
• Authors: Pengcheng Jiang, Lang Cao, Cao Xiao, Parminder Bhatia, Jimeng Sun, Jiawei Han,
• Abstract要約: 知識グラフ埋め込み(KGE)技術は、知識グラフ内の実体と関係のコンパクトな表現を学習するために重要である。 本研究では、エンティティクラスタのセマンティックコヒーレントな階層構造を構築するKG-FITを紹介する。 ベンチマークデータセットFB15K-237、YAGO3-10、PrimeKGの実験は、最先端の訓練済み言語モデルに基づく手法よりもKG-FITの方が優れていることを示した。
• 参考スコア（独自算出の注目度）: 63.19837262782962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph Embedding (KGE) techniques are crucial in learning compact representations of entities and relations within a knowledge graph, facilitating efficient reasoning and knowledge discovery. While existing methods typically focus either on training KGE models solely based on graph structure or fine-tuning pre-trained language models with classification data in KG, KG-FIT leverages LLM-guided refinement to construct a semantically coherent hierarchical structure of entity clusters. By incorporating this hierarchical knowledge along with textual information during the fine-tuning process, KG-FIT effectively captures both global semantics from the LLM and local semantics from the KG. Extensive experiments on the benchmark datasets FB15K-237, YAGO3-10, and PrimeKG demonstrate the superiority of KG-FIT over state-of-the-art pre-trained language model-based methods, achieving improvements of 14.4%, 13.5%, and 11.9% in the Hits@10 metric for the link prediction task, respectively. Furthermore, KG-FIT yields substantial performance gains of 12.6%, 6.7%, and 17.7% compared to the structure-based base models upon which it is built. These results highlight the effectiveness of KG-FIT in incorporating open-world knowledge from LLMs to significantly enhance the expressiveness and informativeness of KG embeddings.
• Abstract（参考訳）: 知識グラフ埋め込み(KGE)技術は、知識グラフ内の実体と関係のコンパクトな表現を学習するために重要であり、効率的な推論と知識発見を促進する。 既存の手法は通常、グラフ構造のみに基づくKGEモデルのトレーニングや、KGの分類データを用いた微調整済み言語モデルに重点を置いているが、KG-FITはLLM誘導の洗練を活用して、エンティティクラスタのセマンティックコヒーレントな階層構造を構築する。 この階層的な知識を微調整プロセス中にテキスト情報と組み合わせることで、KG-FITはLLMのグローバルセマンティクスとKGのローカルセマンティクスの両方を効果的にキャプチャする。 ベンチマークデータセットFB15K-237、YAGO3-10、PrimeKGの大規模な実験は、最先端の訓練済み言語モデルベースの手法よりもKG-FITの方が優れており、リンク予測タスクのHits@10の14.4%、13.5%、11.9%の改善が達成されている。 さらに、KG-FITは、構築された構造ベースのベースモデルと比較して12.6%、6.7%、および17.7%の大幅な性能向上をもたらす。 これらの結果は、KG埋め込みの表現性と情報性を大幅に向上させるため、LLMからのオープンワールド知識を取り入れたKG-FITの有効性を浮き彫りにした。

関連論文リスト

• Distill-SynthKG: Distilling Knowledge Graph Synthesis Workflow for Improved Coverage and Efficiency [59.6772484292295]
  大規模言語モデル(LLM)によって生成される知識グラフ(KG)は、検索・拡張生成(RAG)アプリケーションにとってますます価値が増している。 既存のKG抽出法は、大規模コーパスの処理に非効率なプロンプトベースのアプローチに依存している。 LLMに基づく多段階文書レベルのKGワークフローであるSynthKGを提案する。 我々はまた、RAGのための新しいグラフベースの検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-10-22T00:47:54Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models [18.20425100517317]
  本稿では,知識グラフを用いたタスクに対して,大規模言語モデルを活用するフレームワークであるKG-GPTを提案する。 KG-GPTは文の分割、関連するグラフコンポーネントの検索、論理的結論の導出という3つのステップから構成される。 KGベースの事実検証とKGQAベンチマークを用いてKG-GPTを評価する。
  論文  参考訳（メタデータ） (2023-10-17T12:51:35Z)
• Collective Knowledge Graph Completion with Mutual Knowledge Distillation [11.922522192224145]
  我々は,異なるKGからの集合的知識の最大化に焦点をあてるマルチKG完備化の問題について検討する。 CKGC-CKDと呼ばれる,個々のKGと大きな融合KGの両方で,関係対応グラフ畳み込みネットワークエンコーダモデルを用いる新しい手法を提案する。 複数言語データセットによる実験結果から,本手法はKGCタスクにおけるすべての最先端モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T09:49:40Z)
• Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language Models [53.09723678623779]
  本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。 その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。 TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
  論文  参考訳（メタデータ） (2023-05-24T22:09:35Z)
• KGNN: Distributed Framework for Graph Neural Knowledge Representation [38.080926752998586]
  我々は,分散学習システムにおける表現学習のための知識データを完全に活用するために,KGNNと呼ばれる新しいフレームワークを開発した。 KGNNは、高次構造と属性情報を共同で探索することを目的とした、GNNベースのエンコーダと知識認識デコーダを備えている。
  論文  参考訳（メタデータ） (2022-05-17T12:32:02Z)
• Meta-Learning Based Knowledge Extrapolation for Knowledge Graphs in the Federated Setting [43.85991094675398]
  本稿では,新たな知識グラフ(KG)をフェデレートした環境に組み込むための知識補間問題について検討する。 この問題では、既存のKGでトレーニングされたモデルが、未知の実体と関係を持つ新しいKGを組み込む必要がある。 メタラーニング設定では、既存のKG上に一連のタスクをサンプリングし、新興KG上のリンク予測タスクを模倣する。 サンプルタスクに基づいてグラフニューラルネットワークフレームワークをメタトレーニングし,構造情報に基づく未知のコンポーネントの機能の構築と,それらに対する出力埋め込みを実現する。
  論文  参考訳（メタデータ） (2022-05-10T06:27:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。