論文の概要: Better Retrieval May Not Lead to Better Question Answering
- arxiv url: http://arxiv.org/abs/2205.03685v1
- Date: Sat, 7 May 2022 16:59:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 15:05:45.508283
- Title: Better Retrieval May Not Lead to Better Question Answering
- Title(参考訳): より良い検索は、より良い質問に答えるものではないかもしれない
- Authors: Zhengzhong Liang, Tushar Khot, Steven Bethard, Mihai Surdeanu, Ashish
Sabharwal
- Abstract要約: システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。
マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
- 参考スコア(独自算出の注目度): 59.1892787017522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Considerable progress has been made recently in open-domain question
answering (QA) problems, which require Information Retrieval (IR) and Reading
Comprehension (RC). A popular approach to improve the system's performance is
to improve the quality of the retrieved context from the IR stage. In this work
we show that for StrategyQA, a challenging open-domain QA dataset that requires
multi-hop reasoning, this common approach is surprisingly ineffective --
improving the quality of the retrieved context hardly improves the system's
performance. We further analyze the system's behavior to identify potential
reasons.
- Abstract(参考訳): 情報検索 (IR) と読解包括 (RC) を必要とするオープンドメイン質問応答 (QA) 問題において、近年、考慮すべき進展が報告されている。
システムの性能を改善するための一般的なアプローチは、IRステージから取得したコンテキストの品質を改善することである。
本研究では、マルチホップ推論を必要とする挑戦的なオープンドメインQAデータセットであるStrategyQAについて、この共通アプローチが驚くほど非効率であることを示す。
さらにシステムの振る舞いを分析し、潜在的な理由を特定する。
関連論文リスト
- REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context
Learning in Factuality Evaluation [22.67877393864983]
本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。
このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。
それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
論文 参考訳(メタデータ) (2024-02-14T18:41:19Z) - Desiderata for the Context Use of Question Answering Systems [0.0]
先行研究は、最先端のコンテキストベースの質問応答(QA)システムにおいて、一般的な問題の集合を明らかにした。
まず最初に、QAモデルのデシラタ(desiderata)のセットを概説して、このギャップを埋めることを目指しています。
研究の第2部では、すべてのデシラタに基づいて、5つのデータセット上の15のQAシステムを評価する実験を行っている。
論文 参考訳(メタデータ) (2024-01-31T17:02:31Z) - Strong and Efficient Baselines for Open Domain Conversational Question
Answering [2.773656427800412]
The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。
本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。
TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
論文 参考訳(メタデータ) (2023-10-23T08:48:14Z) - Building Interpretable and Reliable Open Information Retriever for New
Domains Overnight [67.03842581848299]
情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。
本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。
より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-09T07:47:17Z) - QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。
本稿では,GARにおけるQFSの役割について述べる。
コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
論文 参考訳(メタデータ) (2023-07-14T19:25:35Z) - Improving the Question Answering Quality using Answer Candidate
Filtering based on Natural-Language Features [117.44028458220427]
本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。
私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。
特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
論文 参考訳(メタデータ) (2021-12-10T11:09:44Z) - NoiseQA: Challenge Set Evaluation for User-Centric Question Answering [68.67783808426292]
応答エンジンに先立つパイプライン内のコンポーネントが,多種多様なエラーの原因を発生させることができることを示す。
我々は、QAシステムが効果的にデプロイされる前に、進歩の余地がかなりあると結論付けている。
論文 参考訳(メタデータ) (2021-02-16T18:35:29Z) - Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。
ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。
本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文 参考訳(メタデータ) (2020-10-07T08:19:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。