論文の概要: Self-Prompting Large Language Models for Open-Domain QA

• arxiv url: http://arxiv.org/abs/2212.08635v1
• Date: Fri, 16 Dec 2022 18:23:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:17:13.292682
• Title: Self-Prompting Large Language Models for Open-Domain QA
• Title（参考訳）: オープンドメインQAのための自己プロンピング型大規模言語モデル
• Authors: Junlong Li, Zhuosheng Zhang, Hai Zhao
• Abstract要約: Open-Domain Question Answering (ODQA) は、コンテキストを指定せずに、ファクトイドの質問に答えるモデルを必要とする。 本稿では,大規模言語モデル(LLM)を知識コーパスとして扱うことにより,ODQAアーキテクチャを劇的に単純化できることを示す。
• 参考スコア（独自算出の注目度）: 84.1784903043884
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Open-Domain Question Answering (ODQA) requires models to answer factoid questions with no context given. The common way for this task is to train models on a large-scale annotated dataset to retrieve related documents and generate answers based on these documents. In this paper, we show that the ODQA architecture can be dramatically simplified by treating Large Language Models (LLMs) as a knowledge corpus and propose a Self-Prompting framework for LLMs to perform ODQA so as to eliminate the need for training data and external knowledge corpus. Concretely, we firstly generate multiple pseudo QA pairs with background passages and one-sentence explanations for these QAs by prompting LLMs step by step and then leverage the generated QA pairs for in-context learning. Experimental results show our method surpasses previous state-of-the-art methods by +8.8 EM averagely on three widely-used ODQA datasets, and even achieves comparable performance with several retrieval-augmented fine-tuned models.
• Abstract（参考訳）: Open-Domain Question Answering (ODQA) は、コンテキストを指定せずに、ファクトイドの質問に答えるモデルを必要とする。 このタスクの一般的な方法は、大規模な注釈付きデータセット上でモデルをトレーニングし、関連するドキュメントを検索し、これらのドキュメントに基づいて回答を生成することである。 本稿では,大規模言語モデル(llm)を知識コーパスとして扱うことで,odqaアーキテクチャを劇的に単純化し,学習データや外部知識コーパスの必要性をなくすために,ldqaを実行するための自己推進フレームワークを提案する。 具体的には、まず、複数の擬似QAペアを背景パスと1文説明付きで生成し、段階的にLLMを誘導し、生成したQAペアを文脈内学習に活用する。 実験結果から,提案手法は3つの広く使用されているODQAデータセットに対して,従来手法を+8.8 EMで平均上回る結果を得た。

関連論文リスト

• Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction [12.455647753787442]
  抽出・デファイン・カノニケーズ(EDC)という3相フレームワークを提案する。 EDCはフレキシブルで、事前に定義されたターゲットスキーマが利用可能で、そうでない場合に適用される。 EDCがパラメータチューニングなしで高品質な三重項を抽出できることを実証する。
  論文  参考訳（メタデータ） (2024-04-05T02:53:51Z)
• Prompt-Time Symbolic Knowledge Capture with Large Language Models [0.0]
  ユーザ固有の知識で大きな言語モデル(LLM)を拡張することは、パーソナルAIアシスタントのような現実世界のアプリケーションにとって不可欠である。 本稿では,既存のLLM機能を活用して,迅速な知識獲得を実現する。
  論文  参考訳（メタデータ） (2024-02-01T08:15:28Z)
• Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
  メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。 別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。 そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:59:49Z)
• Open-source Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking [36.90911173089409]
  大規模言語モデル(LLM)は、効果的なクエリ類似モデル(QLM)として登場した。 本稿では,近年のLLMにおけるゼロショットランキングの有効性について検討する。 LLMをベースとしたQLMとハイブリッドゼロショットレトリバーを統合した,最先端のランキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:54:42Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models [111.42052290293965]
  大規模言語モデル(LLM)は、新しい言語タスクに対して優れたゼロショット一般化を証明している。 視覚と言語データに対するエンドツーエンドのトレーニングは、切断を橋渡しするかもしれないが、柔軟性がなく、計算コストがかかる。 上述したモダリティとタスクの切断をブリッジできるプロンプトを提供するプラグイン・アンド・プレイモジュールであるemphImg2Promptを提案する。
  論文  参考訳（メタデータ） (2022-12-21T08:39:36Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。