論文の概要: Detrimental Contexts in Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2310.18077v1
- Date: Fri, 27 Oct 2023 11:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 13:55:45.709518
- Title: Detrimental Contexts in Open-Domain Question Answering
- Title（参考訳）: オープンドメイン質問応答における有害文脈
- Authors: Philhoon Oh and James Thorne
- Abstract要約: 質問応答に使用される検索テーマのアーキテクチャに対して,パスが有害な影響を及ぼすかを分析する。
この結果から,2つの人気のあるQAデータセットにおいて,有害経路をフィルタリングすることにより,モデル精度を10%向上できることが示唆された。
- 参考スコア（独自算出の注目度）: 9.059854023578508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For knowledge intensive NLP tasks, it has been widely accepted that accessing
more information is a contributing factor to improvements in the model's
end-to-end performance. However, counter-intuitively, too much context can have
a negative impact on the model when evaluated on common question answering (QA)
datasets. In this paper, we analyze how passages can have a detrimental effect
on retrieve-then-read architectures used in question answering. Our empirical
evidence indicates that the current read architecture does not fully leverage
the retrieved passages and significantly degrades its performance when using
the whole passages compared to utilizing subsets of them. Our findings
demonstrate that model accuracy can be improved by 10% on two popular QA
datasets by filtering out detrimental passages. Additionally, these outcomes
are attained by utilizing existing retrieval methods without further training
or data. We further highlight the challenges associated with identifying the
detrimental passages. First, even with the correct context, the model can make
an incorrect prediction, posing a challenge in determining which passages are
most influential. Second, evaluation typically considers lexical matching,
which is not robust to variations of correct answers. Despite these
limitations, our experimental results underscore the pivotal role of
identifying and removing these detrimental passages for the context-efficient
retrieve-then-read pipeline. Code and data are available at
https://github.com/xfactlab/emnlp2023-damaging-retrieval
- Abstract（参考訳）: 知識集約型nlpタスクでは、より多くの情報にアクセスすることがモデルのエンドツーエンドパフォーマンス改善の要因であると広く受け入れられている。
しかし、反故意に、一般的な質問応答(QA)データセットで評価すると、コンテキストが多すぎるとモデルに悪影響を及ぼす可能性がある。
本稿では,質問応答に使用される検索テーマのアーキテクチャに対して,パスが有害な影響を与えるか分析する。
我々の経験的証拠は、現在の読み取りアーキテクチャは、取得したパスを完全に活用せず、そのサブセットを利用するよりも、全パスを使用する場合のパフォーマンスが著しく低下していることを示している。
この結果から,2つの人気のあるQAデータセットにおいて,有害経路をフィルタリングすることにより,モデル精度を10%向上できることが示唆された。
さらに、さらなる訓練やデータなしで既存の検索方法を利用して、これらの結果を得る。
さらに、有害な通路の特定に関わる課題を強調します。
まず、正しいコンテキストであっても、モデルが誤った予測を行うことができ、どのパスが最も影響力があるかを決定する上での課題となる。
第二に、評価は通常、正しい答えのバリエーションに対して堅牢でない語彙マッチングを考慮する。
これらの制限にもかかわらず、実験結果は、コンテキスト効率のよい検索-then-readパイプラインのための、これらの有害な通路を識別および削除する重要な役割を強調する。
コードとデータはhttps://github.com/xfactlab/emnlp2023-damaging-retrievalで入手できる。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。
類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。
文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
論文 参考訳（メタデータ） (2024-06-15T21:57:03Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Answerability in Retrieval-Augmented Open-Domain Question Answering [17.177439885871788]
Open-Domain Question Answering (ODQA) 検索システムは準最適動作を示すことができ、テキストの抜粋は無関係である。
このギャップに対処する以前の試みは、ランダムテキストの抜粋とペアリングする単純なアプローチに頼っていた。
論文 参考訳（メタデータ） (2024-03-03T09:55:35Z) - Mitigating the Impact of False Negatives in Dense Retrieval with
Contrastive Confidence Regularization [15.204113965411777]
ノイズコントラスト推定(NCE)損失に対する新しいコントラスト信頼度正規化器を提案する。
解析の結果,正則化器はより高密度な検索モデルにおいて,理論的保証のある偽陰性に対してより堅牢であることがわかった。
論文 参考訳（メタデータ） (2023-12-30T08:01:57Z) - Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳（メタデータ） (2023-10-02T18:52:35Z) - Revisiting text decomposition methods for NLI-based factuality scoring
of summaries [9.044665059626958]
細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。
また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
論文 参考訳（メタデータ） (2022-11-30T09:54:37Z) - Toward the Understanding of Deep Text Matching Models for Information
Retrieval [72.72380690535766]
本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。
具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。
LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
論文 参考訳（メタデータ） (2021-08-16T13:33:15Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - Geometry matters: Exploring language examples at the decision boundary [2.7249290070320034]
BERT、CNN、fasttextは、高い難易度例において単語置換の影響を受けやすい。
YelpReviewPolarityでは、レジリエンスと摂動の相関係数-0.4と難易度との相関係数を観測する。
我々のアプローチは単純でアーキテクチャに依存しないものであり、テキスト分類モデルの華やかさの研究に利用できる。
論文 参考訳（メタデータ） (2020-10-14T16:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。