論文の概要: EntGPT: Linking Generative Large Language Models with Knowledge Bases

• arxiv url: http://arxiv.org/abs/2402.06738v2
• Date: Sat, 07 Dec 2024 03:56:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:49:55.414704
• Title: EntGPT: Linking Generative Large Language Models with Knowledge Bases
• Title（参考訳）: EntGPT: 生成する大規模言語モデルと知識ベースをリンクする
• Authors: Yifan Ding, Amrit Poudel, Qingkai Zeng, Tim Weninger, Balaji Veeramani, Sanmitra Bhattacharya,
• Abstract要約: ELタスクの強化に先進的なプロンプトエンジニアリングを採用したEntGPTを導入する。 この3段階のハードプロンプト法(EntGPT-P)は,バニラプロンプトよりもマイクロF_1スコアを最大36%向上させる。 命令チューニング手法EntGPT-I(EntGPT-I)は,教師付きELタスクの平均2.1%のマイクロF_1スコアを改善する。
• 参考スコア（独自算出の注目度）: 8.557683104631883
• License:
• Abstract: Entity Linking in natural language processing seeks to match text entities to their corresponding entries in a dictionary or knowledge base. Traditional approaches rely on contextual models, which can be complex, hard to train, and have limited transferability across different domains. Generative large language models like GPT offer a promising alternative but often underperform with naive prompts. In this study, we introduce EntGPT, employing advanced prompt engineering to enhance EL tasks. Our three-step hard-prompting method (EntGPT-P) significantly boosts the micro-F_1 score by up to 36% over vanilla prompts, achieving competitive performance across 10 datasets without supervised fine-tuning. Additionally, our instruction tuning method (EntGPT-I) improves micro-F_1 scores by 2.1% on average in supervised EL tasks and outperforms several baseline models in six Question Answering tasks. Our methods are compatible with both open-source and proprietary LLMs. All data and code are available on GitHub at https://github.com/yifding/In_Context_EL.
• Abstract（参考訳）: 自然言語処理におけるエンティティリンクは、辞書や知識ベースでテキストエンティティを対応するエントリにマッチさせようとする。 従来のアプローチはコンテキストモデルに依存しており、複雑で、訓練が困難であり、異なるドメイン間での転送可能性に制限がある。 GPTのような生成可能な大規模言語モデルは、有望な代替手段を提供するが、単純なプロンプトではしばしば性能が劣る。 本研究では,ELタスクの強化に先進的なプロンプトエンジニアリングを採用したEntGPTを紹介する。 我々の3ステップのハードプロンピング手法(EntGPT-P)は、マイクロF_1スコアをバニラプロンプトよりも最大36%向上させ、教師なしの微調整なしで10データセット間の競合性能を達成する。 さらに,教師付きELタスクでは,マイクロF_1スコアが平均2.1%向上し,6つの質問応答タスクでは複数のベースラインモデルを上回っている。 我々の手法はオープンソースとプロプライエタリなLLMの両方と互換性がある。 すべてのデータとコードはGitHubでhttps://github.com/yifding/In_Context_ELで公開されている。

関連論文リスト

• CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions [17.252582058787937]
  そこで我々はCommonIT: Commonality-aware Instruction Tuningと呼ばれる新しい指導指導戦略を導入する。 具体的には、命令データセットを3つのメトリクス(Task, Embedding, Length)で異なるグループにクラスタ化する。 LLaMaモデルの厳密なテストは、LLMの命令追従能力を向上するCommonITの有効性を示す。
  論文  参考訳（メタデータ） (2024-10-04T01:42:35Z)
• ChatEL: Entity Linking with Chatbots [11.944348800783834]
  ChatELは、大規模言語モデルに正確な結果を返すための3段階のフレームワークである。 全体として、ChatELフレームワークは10データセットの平均F1パフォーマンスを2%以上改善している。
  論文  参考訳（メタデータ） (2024-02-20T20:52:57Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Few-Shot Data Synthesis for Open Domain Multi-Hop Question Answering [40.86455734818704]
  オープンドメインのマルチホップ質問応答のためのほとんどショットラーニングは、大言語モデルの非コンテキストラーニング能力に依存している。 そこで本研究では,10組未満のアノテート質問応答対を必要とするマルチホップ質問応答のためのデータ合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:57:31Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models [54.74525882974022]
  1ホップと2ホップの双方において、いくつかの例は、探索性能を強く向上させることができることを示す。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチが、既存のプロンプトエンジニアリング手法より優れていることが分かる。
  論文  参考訳（メタデータ） (2021-09-06T23:29:36Z)
• WARP: Word-level Adversarial ReProgramming [13.08689221166729]
  多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。 自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。 提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-01T00:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。