Fugu-MT 論文翻訳(概要): Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction

論文の概要: Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction

arxiv url: http://arxiv.org/abs/2405.12656v1
Date: Tue, 21 May 2024 10:10:56 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 13:39:22.820461
Title: Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction
Title（参考訳）: 極多ラベル知識グラフリンク予測のための検索言語モデル
Authors: Yu-Hsiang Lin, Huang-Ting Shieh, Chih-Yu Liu, Kuang-Ting Lee, Hsiao-Cheng Chang, Jing-Lun Yang, Yu-Sheng Lin,
Abstract要約: 大規模言語モデル(LLM)における開放的調査のための外挿は2つの重要な問題に遭遇する。既存の作業は、知識グラフからの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。我々は,モデルが複数の応答で外挿を行うことを可能にするために,新たなタスク,極端なマルチラベルKGリンク予測タスクを提案する。
参考スコア（独自算出の注目度）: 2.6749568255705656
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Extrapolation in Large language models (LLMs) for open-ended inquiry encounters two pivotal issues: (1) hallucination and (2) expensive training costs. These issues present challenges for LLMs in specialized domains and personalized data, requiring truthful responses and low fine-tuning costs. Existing works attempt to tackle the problem by augmenting the input of a smaller language model with information from a knowledge graph (KG). However, they have two limitations: (1) failing to extract relevant information from a large one-hop neighborhood in KG and (2) applying the same augmentation strategy for KGs with different characteristics that may result in low performance. Moreover, open-ended inquiry typically yields multiple responses, further complicating extrapolation. We propose a new task, the extreme multi-label KG link prediction task, to enable a model to perform extrapolation with multiple responses using structured real-world knowledge. Our retriever identifies relevant one-hop neighbors by considering entity, relation, and textual data together. Our experiments demonstrate that (1) KGs with different characteristics require different augmenting strategies, and (2) augmenting the language model's input with textual data improves task performance significantly. By incorporating the retrieval-augmented framework with KG, our framework, with a small parameter size, is able to extrapolate based on a given KG. The code can be obtained on GitHub: https://github.com/exiled1143/Retrieval-Augmented-Language-Model-for-Multi-Label-Knowledge-Graph-Lin k-Prediction.git
Abstract（参考訳）: オープンエンド調査のための大規模言語モデル(LLM)における外挿は,(1)幻覚と(2)高価なトレーニングコストの2つの重要な問題に遭遇する。これらの課題は、専門分野とパーソナライズされたデータにおけるLLMの課題であり、真理的な応答と低い微調整コストを必要とする。既存の作業は、知識グラフ(KG)からの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。しかし,(1)KGの大型ワンホップ地区から関連情報を抽出できないこと,(2)KGに対して異なる特性を持つKGに対して同様の拡張戦略を適用すること,の2つの制限がある。さらに、オープンエンド調査は一般的に複数の応答をもたらし、さらに外挿を複雑にする。そこで本研究では,構造化実世界の知識を用いて,複数の応答でモデル外挿を行うための,超多ラベルKGリンク予測タスクを提案する。検索者は、エンティティ、リレーション、テキストデータを一緒に検討することで、関連するワンホップ隣人を特定する。実験により,(1)異なる特徴を持つKGは異なる拡張戦略を必要とし,(2)テキストデータによる言語モデルの入力を増大させることで,タスク性能が大幅に向上することが示された。検索拡張フレームワークをKGに組み込むことで,提案したKGに基づく外挿が可能となる。コードはGitHubで入手できる。 https://github.com/exiled1143/Retrieval-Augmented-Language-Model-for-Multi-Label-Knowledge-Graph-Lin k-Prediction.git

関連論文リスト

Multi-hop Question Answering over Knowledge Graphs using Large Language Models [1.8130068086063336]
複数のホップを含む知識グラフに答える能力(LLM)を評価する。我々は、KGのサイズや性質によって、関連する情報をLLMに抽出し、供給するために異なるアプローチが必要であることを示す。
論文参考訳（メタデータ） (2024-04-30T03:31:03Z)
Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs [61.796960984541464]
論理クエリをサンプリングして作成した新しいデータセットであるCOM2(COMplex COMmonsense)を提示する。我々は、手書きのルールと大きな言語モデルを用いて、複数の選択とテキスト生成の質問に言語化します。 COM2でトレーニングされた言語モデルでは、複雑な推論能力が大幅に改善されている。
論文参考訳（メタデータ） (2024-03-12T08:13:52Z)
ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文参考訳（メタデータ） (2023-12-30T07:18:54Z)
UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文参考訳（メタデータ） (2022-12-02T04:08:09Z)
Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文参考訳（メタデータ） (2022-10-17T18:02:52Z)
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.655375327681774]
我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10～20%精度が高いことがわかった。
論文参考訳（メタデータ） (2022-10-06T13:58:03Z)
BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文参考訳（メタデータ） (2022-06-28T19:46:29Z)
Endowing Language Models with Multimodal Knowledge Graph Representations [47.22480859519051]
最近リリースされた VisualSem KG を外部知識リポジトリとして使用しています。我々は、KGからエンティティを取得し、そのマルチモーダル表現を使用して、下流タスクのパフォーマンスを改善する。
論文参考訳（メタデータ） (2022-06-27T10:10:42Z)
Improving Conversational Recommendation Systems' Quality with Context-Aware Item Meta Information [42.88448098873448]
対話レコメンデーションシステム(CRS)は,対話履歴からユーザの好みを推測することでユーザと対話する。従来のCRSでは、知識グラフ(KG)ベースのレコメンデーションモジュールを使用し、応答生成のための言語モデルとKGを統合する。本稿では,事前学習言語モデル(PLM)と項目メタデータエンコーダを組み合わせた,シンプルで効果的なアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-15T14:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。