論文の概要: EntGPT: Linking Generative Large Language Models with Knowledge Bases
- arxiv url: http://arxiv.org/abs/2402.06738v1
- Date: Fri, 9 Feb 2024 19:16:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 19:33:28.051809
- Title: EntGPT: Linking Generative Large Language Models with Knowledge Bases
- Title(参考訳): EntGPT: 生成する大規模言語モデルと知識ベースをリンクする
- Authors: Yifan Ding, Amrit Poudel, Qingkai Zeng, Tim Weninger, Balaji
Veeramani, Sanmitra Bhattacharya
- Abstract要約: 大規模言語モデルが実際に正しい出力を生成する能力は、いまだに探索されていない。
我々は3段階のハードプロンピング法を設計し,LLMのED性能を教師付き微調整なしで探究する。
我々は、同様のプロンプトと応答で、インストラクションチューニング(IT)により、知識基盤能力をさらに向上する。
- 参考スコア(独自算出の注目度): 9.067856411512427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of Large Language Models (LLMs) to generate factually correct
output remains relatively unexplored due to the lack of fact-checking and
knowledge grounding during training and inference. In this work, we aim to
address this challenge through the Entity Disambiguation (ED) task. We first
consider prompt engineering, and design a three-step hard-prompting method to
probe LLMs' ED performance without supervised fine-tuning (SFT). Overall, the
prompting method improves the micro-F_1 score of the original vanilla models by
a large margin, on some cases up to 36% and higher, and obtains comparable
performance across 10 datasets when compared to existing methods with SFT. We
further improve the knowledge grounding ability through instruction tuning (IT)
with similar prompts and responses. The instruction-tuned model not only
achieves higher micro-F1 score performance as compared to several baseline
methods on supervised entity disambiguation tasks with an average micro-F_1
improvement of 2.1% over the existing baseline models, but also obtains higher
accuracy on six Question Answering (QA) tasks in the zero-shot setting. Our
methodologies apply to both open- and closed-source LLMs.
- Abstract(参考訳): 大規模言語モデル(llm)が実際に正しい出力を生成する能力は、トレーニングや推論中にファクトチェックや知識基盤が欠如しているため、比較的未検討のままである。
この作業では、Entity Disambiguation (ED)タスクを通じてこの問題に対処することを目指している。
まず,3段階のハードプロンプト法を設計し,LLMのED性能を教師付き微調整(SFT)なしで探究する。
全体として、プロンプト法は元のバニラモデルのマイクロF_1スコアを最大36%以上の場合において大きなマージンで改善し、SFTの既存手法と比較して10データセットで同等のパフォーマンスを得る。
我々は、同様のプロンプトと応答を持つ教示チューニング(IT)により、知識基盤能力をさらに向上する。
命令調整されたモデルは、教師付きエンティティ曖昧化タスクのいくつかのベースライン手法と比較して、既存のベースラインモデルよりも平均2.1%のマイクロF_1改善を達成できるだけでなく、ゼロショット設定における6つの質問応答(QA)タスクの精度も向上する。
我々の手法はオープンソースLLMとクローズドソースLLMの両方に適用できる。
関連論文リスト
- Large Language Models aren't all that you need [0.0]
本稿では,SemEval 2023 Task 2: MultiCoNER IIを解くために構築されたアーキテクチャとシステムについて述べる。
a)従来のランダムフィールドモデルと(b)カスタマイズされた頭で微調整されたLarge Language Model(LLM)の2つのアプローチを評価し、その2つのアプローチを比較した。
論文 参考訳(メタデータ) (2024-01-01T08:32:50Z) - L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational
Language Models [15.726224465017596]
本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。
我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。
提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
論文 参考訳(メタデータ) (2023-11-11T06:59:50Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z) - Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary
Data [100.33096338195723]
補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。
FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。
提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
論文 参考訳(メタデータ) (2023-02-01T18:59:36Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [84.1784903043884]
Open-Domain Question Answering (ODQA) は、背景文書を明示的に提供せずにファクトイドの質問に答えることを目的としている。
ゼロショット設定では、Retriever-Readersのようなカスタマイズされたモデルをトレーニングするデータがないため、このタスクはより難しい。
本稿では,大規模言語モデルのパラメータに格納された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。