論文の概要: Choose Your QA Model Wisely: A Systematic Study of Generative and Extractive Readers for Question Answering

• arxiv url: http://arxiv.org/abs/2203.07522v1
• Date: Mon, 14 Mar 2022 22:07:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 11:25:57.716053
• Title: Choose Your QA Model Wisely: A Systematic Study of Generative and Extractive Readers for Question Answering
• Title（参考訳）: QAモデルを簡潔に選択する: 質問応答のための生成的および抽出的読者の体系的研究
• Authors: Man Luo, Kazuma Hashimoto, Semih Yavuz, Zhiwei Liu, Chitta Baral, Yingbo Zhou
• Abstract要約: 本研究は,質問応答のための抽出読解と生成読解の比較を体系的に研究する最初の試みである。 最先端技術に対応するため,9つのトランスフォーマーベース大規模事前学習言語モデル(PrLM)をバックボーンアーキテクチャとして検討する。
• 参考スコア（独自算出の注目度）: 41.14425610319543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While both extractive and generative readers have been successfully applied to the Question Answering (QA) task, little attention has been paid toward the systematic comparison of them. Characterizing the strengths and weaknesses of the two readers is crucial not only for making a more informed reader selection in practice but also for developing a deeper understanding to foster further research on improving readers in a principled manner. Motivated by this goal, we make the first attempt to systematically study the comparison of extractive and generative readers for question answering. To be aligned with the state-of-the-art, we explore nine transformer-based large pre-trained language models (PrLMs) as backbone architectures. Furthermore, we organize our findings under two main categories: (1) keeping the architecture invariant, and (2) varying the underlying PrLMs. Among several interesting findings, it is important to highlight that (1) the generative readers perform better in long context QA, (2) the extractive readers perform better in short context while also showing better out-of-domain generalization, and (3) the encoder of encoder-decoder PrLMs (e.g., T5) turns out to be a strong extractive reader and outperforms the standard choice of encoder-only PrLMs (e.g., RoBERTa). We also study the effect of multi-task learning on the two types of readers varying the underlying PrLMs and perform qualitative and quantitative diagnosis to provide further insights into future directions in modeling better readers.
• Abstract（参考訳）: 抽出と生成の両方の読者が質問応答(QA)タスクにうまく適用されているが、それらの体系的な比較にはほとんど注意が払われていない。 2人の読者の長所と短所を特徴付けることは、実践においてより知的な読者選択を行うだけでなく、読者を原則的に改善するためのさらなる研究を促進するためにも重要である。 この目標に動機づけられて,質問応答のための抽出読取と生成読取の比較を体系的に検討する最初の試みを行った。 最先端技術に対応するため,9つのトランスフォーマーベース大規模事前学習言語モデル(PrLM)をバックボーンアーキテクチャとして検討する。 さらに,本研究は,(1)アーキテクチャの不変性を保ちつつ,(2)基礎となるPrLMの異なる2つのカテゴリに分類される。 いくつかの興味深い発見の中で,(1) 生成読者は長い文脈でのQAにおいて,(2) 抽出読者は短い文脈で,(2) 抽出読者はドメイン外の一般化でも優れ,(3) エンコーダ・デコーダ PrLM のエンコーダ (例: T5) は強力な抽出読者であり,エンコーダのみの PrLM の標準選択(例: RoBERTa)よりも優れていたことを強調することが重要である。 また,マルチタスク学習が基礎となるPrLMの異なる2種類の読者に与える影響について検討し,質的かつ定量的な診断を行い,より優れた読者をモデル化する際の今後の方向性についてさらなる知見を提供する。

関連論文リスト

• Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System [21.139850269835858]
  会話学習システム(CTS)は、自然言語に基づく対話を通じて学習体験を提供する。 大規模言語モデル(LLM)の最近の進歩を2つの方法で活用する新しいタイプのCTSについて検討・評価する。 このシステムは、授業テキストから容易に編集可能な教育用スクリプトを自動生成することにより、AI支援コンテンツオーサリングを可能にする。
  論文  参考訳（メタデータ） (2024-04-26T14:57:55Z)
• An In-depth Survey of Large Language Model-based Artificial Intelligence Agents [11.774961923192478]
  LLMベースのAIエージェントと従来のAIエージェントの主な違いと特徴について検討した。 我々は、計画、記憶、ツール使用を含むAIエージェントの重要なコンポーネントについて、詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-09-23T11:25:45Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)
• Pre-trained Embeddings for Entity Resolution: An Experimental Analysis [Experiment, Analysis & Benchmark] [65.11858854040544]
  我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。 まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。 次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。 第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
  論文  参考訳（メタデータ） (2023-04-24T08:53:54Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)
• Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization [15.367455931848252]
  抽象テキスト要約のためのコントラスト学習によるシーケンス・ツー・シーケンス(seq2seq)オートエンコーダを提案する。 本モデルは,多層双方向エンコーダと自動回帰デコーダを備えた標準トランスフォーマーアーキテクチャを採用する。 2つのデータセットで実験を行い、我々のモデルが既存のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-26T18:45:13Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。