論文の概要: KC-GenRe: A Knowledge-constrained Generative Re-ranking Method Based on Large Language Models for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2403.17532v1
- Date: Tue, 26 Mar 2024 09:36:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 15:57:01.684037
- Title: KC-GenRe: A Knowledge-constrained Generative Re-ranking Method Based on Large Language Models for Knowledge Graph Completion
- Title（参考訳）: KC-GenRe:知識グラフ補完のための大規模言語モデルに基づく知識制約付き生成復級法
- Authors: Yilin Wang, Minghao Hu, Zhen Huang, Dongsheng Li, Dong Yang, Xicheng Lu,
- Abstract要約: 生成言語モデルに基づく知識制約付き生成復級法であるKC-GenReを紹介する。
ミスマッチ問題を克服するため、KGC再分類タスクを候補識別子ソート生成問題として定式化する。
誤注文問題に対処するため,候補者の識別とランク付けを強化する知識誘導型対話型トレーニング手法を開発した。
省略問題に対処するために、文脈的プロンプトと制御された生成を可能にする知識強化制約付き推論手法を設計する。
- 参考スコア（独自算出の注目度）: 34.81781468398916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of knowledge graph completion (KGC) is to predict missing facts among entities. Previous methods for KGC re-ranking are mostly built on non-generative language models to obtain the probability of each candidate. Recently, generative large language models (LLMs) have shown outstanding performance on several tasks such as information extraction and dialog systems. Leveraging them for KGC re-ranking is beneficial for leveraging the extensive pre-trained knowledge and powerful generative capabilities. However, it may encounter new problems when accomplishing the task, namely mismatch, misordering and omission. To this end, we introduce KC-GenRe, a knowledge-constrained generative re-ranking method based on LLMs for KGC. To overcome the mismatch issue, we formulate the KGC re-ranking task as a candidate identifier sorting generation problem implemented by generative LLMs. To tackle the misordering issue, we develop a knowledge-guided interactive training method that enhances the identification and ranking of candidates. To address the omission issue, we design a knowledge-augmented constrained inference method that enables contextual prompting and controlled generation, so as to obtain valid rankings. Experimental results show that KG-GenRe achieves state-of-the-art performance on four datasets, with gains of up to 6.7% and 7.7% in the MRR and Hits@1 metric compared to previous methods, and 9.0% and 11.1% compared to that without re-ranking. Extensive analysis demonstrates the effectiveness of components in KG-GenRe.
- Abstract（参考訳）: 知識グラフ補完(KGC)の目標は、エンティティ間の行方不明な事実を予測することである。
KGCの再ランク付けのための従来の手法は、ほとんどの場合、各候補の確率を得るために、生成言語モデルに基づいて構築されている。
近年,情報抽出やダイアログシステムなどのタスクにおいて,ジェネレーティブな大規模言語モデル (LLM) が優れた性能を発揮している。
それらをKGCの再評価に活用することは、訓練済みの広範な知識と強力な生成能力を活用する上で有益である。
しかし、タスクを達成する際には、ミスマッチ、ミスオーダー、省略という新たな問題が発生する可能性がある。
そこで本研究では,KGC のための LLM に基づく知識制約付き生成復号法である KC-GenRe を紹介する。
ミスマッチ問題を克服するために、生成LDMによって実装された候補識別子ソート生成問題として、KGC再分類タスクを定式化する。
誤注文問題に対処するため,候補者の識別とランク付けを強化する知識誘導型対話型トレーニング手法を開発した。
省略問題に対処するために、文脈的プロンプトと制御された生成を可能にする知識強化制約推論手法を設計し、有効なランキングを得る。
実験の結果、KG-GenReは4つのデータセットで最先端のパフォーマンスを達成し、MRRおよびHits@1測定値の最大6.7%と7.7%の上昇、9.0%と11.1%の上昇を示した。
広範囲な分析により、KG-GenReの成分の有効性が示されている。
関連論文リスト
- Fact Finder -- Enhancing Domain Expertise of Large Language Models by Incorporating Knowledge Graphs [2.7386111894524]
ドメイン固有知識グラフ(KG)を用いた大規模言語モデルを拡張したハイブリッドシステムを導入する。
我々は,69個のサンプルを収集し,正しいKGノードの検索精度を78%向上した。
以上の結果から,ハイブリッドシステムは単独のLCMを超える精度と完全性を示した。
論文 参考訳（メタデータ） (2024-08-06T07:45:05Z) - Training Task Experts through Retrieval Based Distillation [55.46054242512261]
ReBase(Retrieval Based Distillation)は、まずリッチなオンラインソースからデータを抽出し、それをドメイン固有のデータに変換する手法である。
SQADは最大7.8%,MNLIは1.37%,BigBench-Hardは1.94%向上した。
論文 参考訳（メタデータ） (2024-07-07T18:27:59Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Sequencing Matters: A Generate-Retrieve-Generate Model for Building
Conversational Agents [9.191944519634111]
Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。
提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。
我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
論文 参考訳（メタデータ） (2023-11-16T02:37:58Z) - Bring Your Own KG: Self-Supervised Program Synthesis for Zero-Shot KGQA [16.248395545151745]
BYOKGは、あらゆる知識グラフ(KG)で操作できる普遍的な質問応答システムである。
ByOKGは、見知らぬKGに存在する情報を探索を通して理解する人間の驚くべき能力からインスピレーションを得ている。
論文 参考訳（メタデータ） (2023-11-14T02:05:29Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using
Confidence-Augmented Reinforcement Learning [24.338098716004485]
TKGCは、時間的knwoledge graph(TKG)におけるエンティティ間の欠落リンクを予測することを目的としている。
近年,TKG数発アウトオブグラフ(OOG)リンク予測という新たなタスクが提案されている。
本稿では,この課題を解決するために,少数ショット学習と強化学習を組み合わせたTKGC法FITCARLを提案する。
論文 参考訳（メタデータ） (2023-04-02T20:05:20Z) - Toward Efficient Language Model Pretraining and Downstream Adaptation
via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。
SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
論文 参考訳（メタデータ） (2022-12-04T15:36:18Z) - From Discrimination to Generation: Knowledge Graph Completion with
Generative Transformer [41.69537736842654]
我々は、知識グラフ補完を事前学習された言語モデルを用いて、シーケンスからシーケンスへ変換するGenKGCのアプローチを提案する。
本稿では,より優れた表現学習と高速推論を実現するために,関係誘導型実演と実体認識型階層デコーディングを導入する。
また、研究目的のために、新しい大規模中国の知識グラフデータセットAliopenKG500もリリースした。
論文 参考訳（メタデータ） (2022-02-04T12:52:32Z) - RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base
Question Answering [57.94658176442027]
KBQAのランク・アンド・ジェネレートアプローチであるRnG-KBQAを提案する。
我々はGrailQA と WebQSP データセット上で,最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2021-09-17T17:58:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。