論文の概要: Self-Prompting Large Language Models for Zero-Shot Open-Domain QA

• arxiv url: http://arxiv.org/abs/2212.08635v3
• Date: Thu, 28 Mar 2024 06:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 22:22:33.284184
• Title: Self-Prompting Large Language Models for Zero-Shot Open-Domain QA
• Title（参考訳）: ゼロショットオープンドメインQAのための自己プロンピング大言語モデル
• Authors: Junlong Li, Jinyuan Wang, Zhuosheng Zhang, Hai Zhao,
• Abstract要約: Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 67.08732962244301
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Open-Domain Question Answering (ODQA) aims to answer questions without explicitly providing specific background documents. This task becomes notably challenging in a zero-shot setting where no data is available to train tailored retrieval-reader models. While recent Large Language Models (LLMs) like GPT-3 have demonstrated their effectiveness in zero-shot ODQA using direct prompting methods, these methods still fall short of fully harnessing the potential of LLMs when implicitly invoked. In this paper, we propose a Self-Prompting framework to explicitly utilize the massive knowledge encoded in the parameters of LLMs and their strong instruction understanding abilities. Concretely, we prompt LLMs step by step to generate multiple pseudo QA pairs with background passages and explanations entirely from scratch. These generated elements are then utilized for in-context learning. Experimental results show that our method significantly surpasses previous state-of-the-art zero-shot methods on three widely-used ODQA datasets and even achieves comparable performance with various customized fine-tuned models on full training data. Our code is available at https://github.com/lockon-n/self-prompting.
• Abstract（参考訳）: Open-Domain Question Answering (ODQA)は、特定の背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 GPT-3のような最近のLarge Language Models (LLM) は、直接的プロンプト法を用いてゼロショットODQAでの有効性を実証しているが、これらの手法は暗黙的に呼び出されたときのLLMの可能性を完全に活用するには至っていない。 本稿では,LLMのパラメータに符号化された膨大な知識と,その強力な命令理解能力を明確に活用するセルフプロンプトフレームワークを提案する。 具体的には,複数の擬似QAペアを生成し,背景文と説明文を完全にスクラッチから生成する。 これらの生成した要素は、インコンテキスト学習に使用される。 実験結果から,本手法は3つの広く使用されているODQAデータセットに対して,従来のゼロショット法を大幅に上回り,フルトレーニングデータに対して,様々なカスタマイズされた微調整モデルを用いて同等の性能を達成できることが示唆された。 私たちのコードはhttps://github.com/lockon-n/self-prompting.comで利用可能です。

関連論文リスト

• Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction [12.455647753787442]
  抽出・デファイン・カノニケーズ(EDC)という3相フレームワークを提案する。 EDCはフレキシブルで、事前に定義されたターゲットスキーマが利用可能で、そうでない場合に適用される。 EDCがパラメータチューニングなしで高品質な三重項を抽出できることを実証する。
  論文  参考訳（メタデータ） (2024-04-05T02:53:51Z)
• Prompt-Time Symbolic Knowledge Capture with Large Language Models [0.0]
  ユーザ固有の知識で大きな言語モデル(LLM)を拡張することは、パーソナルAIアシスタントのような現実世界のアプリケーションにとって不可欠である。 本稿では,既存のLLM機能を活用して,迅速な知識獲得を実現する。
  論文  参考訳（メタデータ） (2024-02-01T08:15:28Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking [36.90911173089409]
  大規模言語モデル(LLM)は、効果的なクエリ類似モデル(QLM)として登場した。 本稿では,近年のLLMにおけるゼロショットランキングの有効性について検討する。 LLMをベースとしたQLMとハイブリッドゼロショットレトリバーを統合した,最先端のランキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:54:42Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models [111.42052290293965]
  大規模言語モデル(LLM)は、新しい言語タスクに対して優れたゼロショット一般化を証明している。 視覚と言語データに対するエンドツーエンドのトレーニングは、切断を橋渡しするかもしれないが、柔軟性がなく、計算コストがかかる。 上述したモダリティとタスクの切断をブリッジできるプロンプトを提供するプラグイン・アンド・プレイモジュールであるemphImg2Promptを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:39:36Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。