論文の概要: Context Generation Improves Open Domain Question Answering

• arxiv url: http://arxiv.org/abs/2210.06349v1
• Date: Wed, 12 Oct 2022 16:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:33:13.556884
• Title: Context Generation Improves Open Domain Question Answering
• Title（参考訳）: オープンドメインの質問応答を改善するコンテキスト生成
• Authors: Dan Su, Mostofa Patwary, Shrimai Prabhumoye, Peng Xu, Ryan Prenger, Mohammad Shoeybi, Pascale Fung, Anima Anandkumar, Bryan Catanzaro
• Abstract要約: 関連知識を抽出し,質問に答えるために,粗大なアプローチを用いる2段階のクローズドブックQAフレームワークを提案する。 本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習したLMの知識をうまく活用することができる。
• 参考スコア（独自算出の注目度）: 102.34183939011352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Closed-book question answering (QA) requires a model to directly answer an open-domain question without access to any external knowledge. Prior work on closed-book QA either directly finetunes or prompts a pretrained language model (LM) to leverage the stored knowledge. However, they do not fully exploit the parameterized knowledge. To address this issue, we propose a two-stage, closed-book QA framework which employs a coarse-to-fine approach to extract relevant knowledge and answer a question. Our approach first generates a related context for a given question by prompting a pretrained LM. We then prompt the same LM for answer prediction using the generated context and the question. Additionally, to eliminate failure caused by context uncertainty, we marginalize over generated contexts. Experimental results on three QA benchmarks show that our method significantly outperforms previous closed-book QA methods (e.g. exact matching 68.6% vs. 55.3%), and is on par with open-book methods that exploit external knowledge sources (e.g. 68.6% vs. 68.0%). Our method is able to better exploit the stored knowledge in pretrained LMs without adding extra learnable parameters or needing finetuning, and paves the way for hybrid models that integrate pretrained LMs with external knowledge.
• Abstract（参考訳）: クローズドブック質問応答(QA)は、外部知識にアクセスせずに、オープンドメインの質問に答えるモデルを必要とする。 クローズドブックQAの以前の作業は、直接微調整するか、事前訓練された言語モデル(LM)に保存された知識を活用するよう促す。 しかし、パラメータ化された知識を十分に活用していない。 この問題に対処するため,我々は2段階のクローズドブックqaフレームワークを提案する。 提案手法はまず,事前学習したLMを誘導することにより,与えられた質問に対する関連するコンテキストを生成する。 次に、生成した文脈と質問を用いて、同じLMに回答予測を指示する。 さらに、コンテキストの不確実性に起因する障害を取り除くために、生成されたコンテキストを疎外する。 3つのQAベンチマーク実験の結果、我々の手法は従来のクローズドブックQA手法(68.6%対55.3%)を著しく上回り、外部知識源を利用するオープンブック手法(68.6%対68.0%)と同等であることがわかった。 本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習されたlmsの知識をより活用し,事前学習されたlmsと外部知識を統合するハイブリッドモデルへの道を開く。

関連論文リスト

• Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
  COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-22T19:37:06Z)
• A Simple Baseline for Knowledge-Based Visual Question Answering [78.00758742784532]
  本稿では,知識に基づく視覚質問応答(KB-VQA)の問題について述べる。 本論文の主な貢献は,よりシンプルで容易に再現可能なパイプラインを提案することである。 近年のアプローチとは対照的に,本手法はトレーニングフリーであり,外部データベースやAPIへのアクセスを必要とせず,OK-VQAおよびA-OK-VQAデータセット上で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2023-10-20T15:08:17Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• When to Read Documents or QA History: On Unified and Selective Open-domain QA [22.941325275188376]
  本稿では,知識資源を活用した多様な質問に答えることを目的として,オープンドメイン質問応答の問題について検討する。 QAペアと文書コーパスの2種類のソースは、以下の相補的な強度で積極的に活用されている。 したがって、自然なフォローアップが両方のモデルを活用する一方で、単純でパイプライニングや統合的なアプローチは、どちらのモデルよりも追加的な利益をもたらすことができませんでした。
  論文  参考訳（メタデータ） (2023-06-07T06:03:39Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
  本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。 まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。 第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
  論文  参考訳（メタデータ） (2021-11-15T10:31:46Z)
• Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA? [10.301990059068377]
  SQuADを用いたクローズドブックQAの新しいデータセットを構築し,BARTの性能について検討する。 実験の結果,BARTが高精度に学習事実を記憶することは困難であり,関連する知識が保持されている場合でも,クローズドブックの質問に答えることは困難であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-03T03:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。