論文の概要: Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models?
- arxiv url: http://arxiv.org/abs/2310.08279v2
- Date: Mon, 15 Jan 2024 04:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 01:09:16.652348
- Title: Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models?
- Title(参考訳): ゼロショット大言語モデルからテキストベースの知識グラフ補完に相応しいか?
- Authors: Rui Yang, Li Fang, Yi Zhou
- Abstract要約: 大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
- 参考スコア(独自算出の注目度): 10.56565195524981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-based knowledge graph completion (KGC) methods, leveraging textual
entity descriptions are at the research forefront. The efficacy of these models
hinges on the quality of the textual data. This study explores whether enriched
or more efficient textual descriptions can amplify model performance. Recently,
Large Language Models (LLMs) have shown remarkable improvements in NLP tasks,
attributed to their sophisticated text generation and conversational
capabilities. LLMs assimilate linguistic patterns and integrate knowledge from
their training data. Compared to traditional databases like Wikipedia, LLMs
provide several advantages, facilitating broader information querying and
content augmentation. We hypothesize that LLMs, without fine-tuning, can refine
entity descriptions, serving as an auxiliary knowledge source. An in-depth
analysis was conducted to verify this hypothesis. We found that (1) without
fine-tuning, LLMs have the capability to further improve the quality of entity
text descriptions. We validated this through experiments on the FB15K-237 and
WN18RR datasets. (2) LLMs exhibit text generation hallucination issues and
selectively output words with multiple meanings. This was mitigated by
contextualizing prompts to constrain LLM outputs. (3) Larger model sizes do not
necessarily guarantee better performance; even the 7B model can achieve
optimized results in this comparative task. These findings underscore the
untapped potential of large models in text-based KGC, which is a promising
direction for further research in KGC. The code and datasets are accessible at
\href{https://github.com/sjlmg/CP-KGC}.
- Abstract(参考訳): テキストベースの知識グラフ補完(KGC)手法は、テキストエンティティ記述を活用する。
これらのモデルの有効性は、テキストデータの品質にかかっている。
本研究は,テキスト記述の充実がモデル性能を増幅するかどうかを考察する。
近年、Large Language Models (LLMs) は、その洗練されたテキスト生成と会話機能により、NLPタスクが大幅に改善されている。
LLMは言語パターンを同化し、トレーニングデータから知識を統合する。
wikipediaのような従来のデータベースと比較すると、llmにはいくつかの利点があり、幅広い情報クエリとコンテンツ拡張が容易である。
LLMは微調整なしで、エンティティ記述を洗練し、補助的な知識源として機能する、という仮説を立てる。
この仮説を検証するために詳細な分析を行った。
1)微調整なしで、LCMはエンティティのテキスト記述の質をさらに向上する能力を持つことがわかった。
fb15k-237とwn18rrデータセットを用いて検証を行った。
2) LLMはテキスト生成の幻覚問題を示し,複数の意味を持つ単語を選択的に出力する。
これは、LLM出力を制約するプロンプトの文脈化によって緩和された。
(3) より大きなモデルのサイズは必ずしもより良い性能を保証するとは限らない。
これらの知見は、テキストベースのKGCにおける大きなモデルの未解決の可能性を強調し、KGCにおけるさらなる研究の有望な方向である。
コードとデータセットは \href{https://github.com/sjlmg/CP-KGC} でアクセスできる。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Learning to Reduce: Optimal Representations of Structured Data in
Prompting Large Language Models [42.16047343029512]
大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。
本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。
入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
論文 参考訳(メタデータ) (2024-02-22T00:41:23Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - Can LLMs Effectively Leverage Graph Structural Information through
Prompts, and Why? [20.022720021579048]
大きな言語モデル(LLM)は、リッチテキスト属性でグラフを処理する能力に注目が集まっている。
グラフデータに固有の構造情報の取り込みにより,LLMの予測性能が向上する理由を理解することを目的としている。
論文 参考訳(メタデータ) (2023-09-28T16:58:37Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Exploring the Potential of Large Language Models (LLMs) in Learning on
Graphs [59.74814230246034]
大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。
LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
論文 参考訳(メタデータ) (2023-07-07T05:31:31Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - Retrieving Texts based on Abstract Descriptions [63.89087805237351]
埋め込みベクトル上の類似性検索は、クエリによる検索を可能にするが、埋め込みに反映される類似性は不定義であり、一貫性がない。
我々は,その内容の抽象的記述に基づいて文を検索する,明確に定義された一貫したタスクを同定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳(メタデータ) (2023-05-21T17:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。