Fugu-MT 論文翻訳(概要): Better Retrieval May Not Lead to Better Question Answering

論文の概要: Better Retrieval May Not Lead to Better Question Answering

arxiv url: http://arxiv.org/abs/2205.03685v1
Date: Sat, 7 May 2022 16:59:38 GMT
ステータス: 処理完了
システム内更新日: 2022-05-10 15:05:45.508283
Title: Better Retrieval May Not Lead to Better Question Answering
Title（参考訳）: より良い検索は、より良い質問に答えるものではないかもしれない
Authors: Zhengzhong Liang, Tushar Khot, Steven Bethard, Mihai Surdeanu, Ashish Sabharwal
Abstract要約: システムの性能を改善するための一般的なアプローチは、取得したコンテキストの品質をIRステージから改善することである。マルチホップ推論を必要とするオープンドメインのQAデータセットであるStrategyQAでは、この一般的なアプローチは驚くほど非効率である。
参考スコア（独自算出の注目度）: 59.1892787017522
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Considerable progress has been made recently in open-domain question answering (QA) problems, which require Information Retrieval (IR) and Reading Comprehension (RC). A popular approach to improve the system's performance is to improve the quality of the retrieved context from the IR stage. In this work we show that for StrategyQA, a challenging open-domain QA dataset that requires multi-hop reasoning, this common approach is surprisingly ineffective -- improving the quality of the retrieved context hardly improves the system's performance. We further analyze the system's behavior to identify potential reasons.
Abstract（参考訳）: 情報検索 (IR) と読解包括 (RC) を必要とするオープンドメイン質問応答 (QA) 問題において、近年、考慮すべき進展が報告されている。システムの性能を改善するための一般的なアプローチは、IRステージから取得したコンテキストの品質を改善することである。本研究では、マルチホップ推論を必要とする挑戦的なオープンドメインQAデータセットであるStrategyQAについて、この共通アプローチが驚くほど非効率であることを示す。さらにシステムの振る舞いを分析し、潜在的な理由を特定する。

関連論文リスト

Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
論文参考訳（メタデータ） (2024-11-25T06:48:38Z)
Enhancing Retrieval in QA Systems with Derived Feature Association [0.0]
Retrieval augmented generation (RAG) は、長い文脈質問応答(QA)システムにおいて標準となっている。我々は、AI派生文書(RAIDD)からレトリーバル(Retrieval)と呼ばれるRAGシステムへの新たな拡張を提案する。
論文参考訳（メタデータ） (2024-10-02T05:24:49Z)
Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering [45.154063285999015]
検索拡張生成(RAG)フレームワークは、QAシステムにおけるユーザクエリのあいまいさに対処する。 RAGは、すべてのもっともらしい解釈をカバーし、包括的な応答を生成する。しかし、単一の検索プロセスは、しばしば品質の低い結果に悩まされる。本稿では,DIVA(Diversify-verify-Adapt)フレームワークを提案する。
論文参考訳（メタデータ） (2024-09-04T01:14:04Z)
KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T22:14:56Z)
AdaCQR: Enhancing Query Reformulation for Conversational Search via Sparse and Dense Retrieval Alignment [16.62505706601199]
本稿では,対話型検索再構成のための新しいフレームワークAdaCQRを提案する。 AdaCQRは、情報検索クエリの一般化性を向上させる。 TopiOCQAデータセットとQReCCデータセットの実験的評価は、AdaCQRが既存の手法よりも大幅に優れていることを示している。
論文参考訳（メタデータ） (2024-07-02T05:50:16Z)
REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文参考訳（メタデータ） (2024-02-27T13:22:51Z)
QontSum: On Contrasting Salient Content for Query-focused Summarization [22.738731393540633]
クエリ中心の要約(QFS)は、特定のクエリに対処する要約を生成する自然言語処理において難しいタスクである。本稿では,GARにおけるQFSの役割について述べる。コントラスト学習を利用したQFSの新しい手法であるQontSumを提案する。
論文参考訳（メタデータ） (2023-07-14T19:25:35Z)
Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features [117.44028458220427]
本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
論文参考訳（メタデータ） (2021-12-10T11:09:44Z)
NoiseQA: Challenge Set Evaluation for User-Centric Question Answering [68.67783808426292]
応答エンジンに先立つパイプライン内のコンポーネントが,多種多様なエラーの原因を発生させることができることを示す。我々は、QAシステムが効果的にデプロイされる前に、進歩の余地がかなりあると結論付けている。
論文参考訳（メタデータ） (2021-02-16T18:35:29Z)
Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
論文参考訳（メタデータ） (2020-10-07T08:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。