論文の概要: Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large Language Models?

• arxiv url: http://arxiv.org/abs/2310.08279v2
• Date: Mon, 15 Jan 2024 04:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 01:09:16.652348
• Title: Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large Language Models?
• Title（参考訳）: ゼロショット大言語モデルからテキストベースの知識グラフ補完に相応しいか?
• Authors: Rui Yang, Li Fang, Yi Zhou
• Abstract要約: 大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。 本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 10.56565195524981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-based knowledge graph completion (KGC) methods, leveraging textual entity descriptions are at the research forefront. The efficacy of these models hinges on the quality of the textual data. This study explores whether enriched or more efficient textual descriptions can amplify model performance. Recently, Large Language Models (LLMs) have shown remarkable improvements in NLP tasks, attributed to their sophisticated text generation and conversational capabilities. LLMs assimilate linguistic patterns and integrate knowledge from their training data. Compared to traditional databases like Wikipedia, LLMs provide several advantages, facilitating broader information querying and content augmentation. We hypothesize that LLMs, without fine-tuning, can refine entity descriptions, serving as an auxiliary knowledge source. An in-depth analysis was conducted to verify this hypothesis. We found that (1) without fine-tuning, LLMs have the capability to further improve the quality of entity text descriptions. We validated this through experiments on the FB15K-237 and WN18RR datasets. (2) LLMs exhibit text generation hallucination issues and selectively output words with multiple meanings. This was mitigated by contextualizing prompts to constrain LLM outputs. (3) Larger model sizes do not necessarily guarantee better performance; even the 7B model can achieve optimized results in this comparative task. These findings underscore the untapped potential of large models in text-based KGC, which is a promising direction for further research in KGC. The code and datasets are accessible at \href{https://github.com/sjlmg/CP-KGC}.
• Abstract（参考訳）: テキストベースの知識グラフ補完(KGC)手法は、テキストエンティティ記述を活用する。 これらのモデルの有効性は、テキストデータの品質にかかっている。 本研究は,テキスト記述の充実がモデル性能を増幅するかどうかを考察する。 近年、Large Language Models (LLMs) は、その洗練されたテキスト生成と会話機能により、NLPタスクが大幅に改善されている。 LLMは言語パターンを同化し、トレーニングデータから知識を統合する。 wikipediaのような従来のデータベースと比較すると、llmにはいくつかの利点があり、幅広い情報クエリとコンテンツ拡張が容易である。 LLMは微調整なしで、エンティティ記述を洗練し、補助的な知識源として機能する、という仮説を立てる。 この仮説を検証するために詳細な分析を行った。 1)微調整なしで、LCMはエンティティのテキスト記述の質をさらに向上する能力を持つことがわかった。 fb15k-237とwn18rrデータセットを用いて検証を行った。 2) LLMはテキスト生成の幻覚問題を示し,複数の意味を持つ単語を選択的に出力する。 これは、LLM出力を制約するプロンプトの文脈化によって緩和された。 (3) より大きなモデルのサイズは必ずしもより良い性能を保証するとは限らない。 これらの知見は、テキストベースのKGCにおける大きなモデルの未解決の可能性を強調し、KGCにおけるさらなる研究の有望な方向である。 コードとデータセットは \href{https://github.com/sjlmg/CP-KGC} でアクセスできる。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
  本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。 オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
  論文  参考訳（メタデータ） (2024-05-24T09:19:45Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model [38.00241874974804]
  グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす 本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
  論文  参考訳（メタデータ） (2023-12-04T12:20:25Z)
• Unifying Structure and Language Semantic for Efficient Contrastive Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
  知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。 本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:17:55Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。