論文の概要: EntGPT: Linking Generative Large Language Models with Knowledge Bases

• arxiv url: http://arxiv.org/abs/2402.06738v1
• Date: Fri, 9 Feb 2024 19:16:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 19:33:28.051809
• Title: EntGPT: Linking Generative Large Language Models with Knowledge Bases
• Title（参考訳）: EntGPT: 生成する大規模言語モデルと知識ベースをリンクする
• Authors: Yifan Ding, Amrit Poudel, Qingkai Zeng, Tim Weninger, Balaji Veeramani, Sanmitra Bhattacharya
• Abstract要約: 大規模言語モデルが実際に正しい出力を生成する能力は、いまだに探索されていない。 我々は3段階のハードプロンピング法を設計し,LLMのED性能を教師付き微調整なしで探究する。 我々は、同様のプロンプトと応答で、インストラクションチューニング(IT)により、知識基盤能力をさらに向上する。
• 参考スコア（独自算出の注目度）: 9.067856411512427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of Large Language Models (LLMs) to generate factually correct output remains relatively unexplored due to the lack of fact-checking and knowledge grounding during training and inference. In this work, we aim to address this challenge through the Entity Disambiguation (ED) task. We first consider prompt engineering, and design a three-step hard-prompting method to probe LLMs' ED performance without supervised fine-tuning (SFT). Overall, the prompting method improves the micro-F_1 score of the original vanilla models by a large margin, on some cases up to 36% and higher, and obtains comparable performance across 10 datasets when compared to existing methods with SFT. We further improve the knowledge grounding ability through instruction tuning (IT) with similar prompts and responses. The instruction-tuned model not only achieves higher micro-F1 score performance as compared to several baseline methods on supervised entity disambiguation tasks with an average micro-F_1 improvement of 2.1% over the existing baseline models, but also obtains higher accuracy on six Question Answering (QA) tasks in the zero-shot setting. Our methodologies apply to both open- and closed-source LLMs.
• Abstract（参考訳）: 大規模言語モデル(llm)が実際に正しい出力を生成する能力は、トレーニングや推論中にファクトチェックや知識基盤が欠如しているため、比較的未検討のままである。 この作業では、Entity Disambiguation (ED)タスクを通じてこの問題に対処することを目指している。 まず,3段階のハードプロンプト法を設計し,LLMのED性能を教師付き微調整(SFT)なしで探究する。 全体として、プロンプト法は元のバニラモデルのマイクロF_1スコアを最大36%以上の場合において大きなマージンで改善し、SFTの既存手法と比較して10データセットで同等のパフォーマンスを得る。 我々は、同様のプロンプトと応答を持つ教示チューニング(IT)により、知識基盤能力をさらに向上する。 命令調整されたモデルは、教師付きエンティティ曖昧化タスクのいくつかのベースライン手法と比較して、既存のベースラインモデルよりも平均2.1%のマイクロF_1改善を達成できるだけでなく、ゼロショット設定における6つの質問応答(QA)タスクの精度も向上する。 我々の手法はオープンソースLLMとクローズドソースLLMの両方に適用できる。

関連論文リスト

• CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions [17.252582058787937]
  そこで我々はCommonIT: Commonality-aware Instruction Tuningと呼ばれる新しい指導指導戦略を導入する。 具体的には、命令データセットを3つのメトリクス(Task, Embedding, Length)で異なるグループにクラスタ化する。 LLaMaモデルの厳密なテストは、LLMの命令追従能力を向上するCommonITの有効性を示す。
  論文  参考訳（メタデータ） (2024-10-04T01:42:35Z)
• ChatEL: Entity Linking with Chatbots [11.944348800783834]
  ChatELは、大規模言語モデルに正確な結果を返すための3段階のフレームワークである。 全体として、ChatELフレームワークは10データセットの平均F1パフォーマンスを2%以上改善している。
  論文  参考訳（メタデータ） (2024-02-20T20:52:57Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering [40.86455734818704]
  オープンドメインのマルチホップ質問応答のためのほとんどショットラーニングは、大言語モデルの非コンテキストラーニング能力に依存している。 そこで本研究では,10組未満のアノテート質問応答対を必要とするマルチホップ質問応答のためのデータ合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:57:31Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models [54.74525882974022]
  1ホップと2ホップの双方において、いくつかの例は、探索性能を強く向上させることができることを示す。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチが、既存のプロンプトエンジニアリング手法より優れていることが分かる。
  論文  参考訳（メタデータ） (2021-09-06T23:29:36Z)
• WARP: Word-level Adversarial ReProgramming [13.08689221166729]
  多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。 自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。 提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-01T00:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。