論文の概要: Strong and Efficient Baselines for Open Domain Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2310.14708v1
• Date: Mon, 23 Oct 2023 08:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:18:09.360503
• Title: Strong and Efficient Baselines for Open Domain Conversational Question Answering
• Title（参考訳）: Open Domain Conversational Question Answeringのための強力で効率的なベースライン
• Authors: Andrei C. Coman, Gianni Barlacchi, Adri\`a de Gispert
• Abstract要約: The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。 本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。 TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
• 参考スコア（独自算出の注目度）: 2.773656427800412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike the Open Domain Question Answering (ODQA) setting, the conversational (ODConvQA) domain has received limited attention when it comes to reevaluating baselines for both efficiency and effectiveness. In this paper, we study the State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline, and show that it significantly underperforms when applied to ODConvQA tasks due to various limitations. We then propose and evaluate strong yet simple and efficient baselines, by introducing a fast reranking component between the retriever and the reader, and by performing targeted finetuning steps. Experiments on two ODConvQA tasks, namely TopiOCQA and OR-QuAC, show that our method improves the SotA results, while reducing reader's latency by 60%. Finally, we provide new and valuable insights into the development of challenging baselines that serve as a reference for future, more intricate approaches, including those that leverage Large Language Models (LLMs).
• Abstract（参考訳）: Open Domain Question Answering (ODQA)設定とは異なり、会話型ドメイン(ODConvQA)は、効率と有効性の両方のベースラインの再評価に関して、限定的な注目を集めている。 本稿では,DPR(State-of-the-Art (SotA) Dense Passage Retrieval)レトリバーとFusion-in-Decoder (FiD) リーダパイプラインについて検討し,様々な制約によりODConvQAタスクに適用した場合に顕著に性能が低下することを示す。 次に,レトリバーと読み手の間に高速な再ランキングコンポーネントを導入し,対象とする微調整ステップを行うことで,強力でシンプルで効率的なベースラインを提案する。 TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。 最後に,LLM(Large Language Models)の利用を含む,より複雑なアプローチのリファレンスとして機能する,挑戦的なベースラインの開発に関する,新たな価値ある洞察を提供する。

関連論文リスト

• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action [17.60243337898751]
  オープンドメイン会話質問回答(OCQA)のための会話連鎖(Conv-CoA)フレームワークを提案する。 文献と比較して、Conv-CoAは、(i)リアルタイムやドメイン事実と矛盾しない不誠実な幻覚、(ii)会話シナリオにおける弱い推論性能、(iii)会話情報検索における不満足なパフォーマンスの3つの主要な課題に対処する。
  論文  参考訳（メタデータ） (2024-05-28T04:46:52Z)
• RADE: Reference-Assisted Dialogue Evaluation for Open-Domain Dialogue [37.82954848948347]
  マルチタスク学習フレームワークを用いた参照支援対話評価(RADE)手法を提案する。 RADEは、参照と候補のレスポンスを明示的に比較して、全体のスコアを予測する。 3つのデータセットと2つの既存のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-09-15T04:47:19Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• A Survey for Efficient Open Domain Question Answering [51.67110249787223]
  Open Domain Question answering (ODQA)は、自然言語処理(NLP)において明確な証拠のない、大規模な知識コーパスから事実質問に答えることを目的とした長年の課題である。
  論文  参考訳（メタデータ） (2022-11-15T04:18:53Z)
• ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
  本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。 まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。 最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
  論文  参考訳（メタデータ） (2022-07-14T17:46:37Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Joint Answering and Explanation for Visual Commonsense Reasoning [46.44588492897933]
  Visual Commonsense Reasoningは、よりハイレベルな視覚的理解を追求する試みである。 与えられた画像に対する質問応答と、回答説明のための合理的推論の2つの必須プロセスで構成されている。 本稿では,質問応答と推論プロセスの合理化を両立させるための知識蒸留強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T11:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。