論文の概要: Saving Dense Retriever from Shortcut Dependency in Conversational Search

• arxiv url: http://arxiv.org/abs/2202.07280v1
• Date: Tue, 15 Feb 2022 09:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 23:25:21.283758
• Title: Saving Dense Retriever from Shortcut Dependency in Conversational Search
• Title（参考訳）: 会話検索におけるショートカット依存からの難読化
• Authors: Sungdong Kim, Gangwoo Kim
• Abstract要約: 会話検索(CS)における検索ショートカットは、最新の質問を無視しながら、部分的履歴のみに依存したパスを復元する。 本研究は, 近道を多用し, 履歴に依存しない質問に答えることが困難であることを示す。 モデルがショートカットにのみ依存することを防止するため,事前訓練された高密度レトリバーによって抽出された反復的硬い負を探索する。
• 参考スコア（独自算出の注目度）: 7.584170081762014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In conversational search (CS), it needs holistic understanding over conversational inputs to retrieve relevant passages. In this paper, we demonstrate the existence of a retrieval shortcut in CS, which causes models to retrieve passages solely relying on partial history while disregarding the latest question. With in-depth analysis, we first show naively trained dense retrievers heavily exploit the shortcut and hence perform poorly when asked to answer history-independent questions. To prevent models from solely relying on the shortcut, we explore iterative hard negatives mined by pre-trained dense retrievers. Experimental results show that training with the iterative hard negatives effectively mitigates the dependency on the shortcut and makes substantial improvement on recent CS benchmarks. Our retrievers achieve new state-of-the-art results, outperforming the previous best models by 9.7 in Recall@10 on QReCC and 12.4 in Recall@5 on TopiOCQA. Furthermore, in our end-to-end QA experiments, FiD readers combined with our retrievers surpass the previous state-of-the-art models by 3.7 and 1.0 EM scores on QReCC and TopiOCQA, respectively.
• Abstract（参考訳）: 対話型検索(CS)では、関連する経路を検索するために、対話型入力に関する全体的理解が必要である。 本稿では, csにおける検索ショートカットの存在を実証し, モデルが最新の質問を無視しながら, 部分的履歴のみに依存する通路を検索できるようにする。 詳細な分析を行えば,ナイーブに訓練された密集したレトリバーがショートカットを大いに活用していることが分かる。 モデルがショートカットにのみ依存することを防止するため,事前訓練された高密度レトリバーによって抽出された反復的硬い負を探索する。 実験結果から,反復的強陰性トレーニングはショートカットへの依存性を効果的に軽減し,最近のCSベンチマークで大幅な改善が得られた。 検索の結果は,QReCCではRecall@10で9.7,TopiOCQAではRecall@5で12.4で,従来最高のモデルを上回った。 さらに,本研究の終末QA実験では,従来の最先端モデルの3.7 EMとTopiOCQAの1.0 EMをそれぞれ上回った。

関連論文リスト

• Efficient Long-range Language Modeling with Self-supervised Causal Retrieval [39.24972628990943]
  Grouped Cross-Attentionは、レトリバーと因果LMの協調事前トレーニングを可能にする新しいモジュールである。 トップ$kの検索を統合することで、コンテキスト長を最大64Kのトークンでスクラッチから効率的に事前トレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2024-10-02T15:18:34Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search [25.16282868262589]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Adversarial Retriever-Ranker for dense text retrieval [51.87158529880056]
  本稿では、二重エンコーダレトリバーとクロスエンコーダローダからなるAdversarial Retriever-Ranker(AR2)を提案する。 AR2は、既存の高密度レトリバー法より一貫して大幅に優れている。 これには、R@5から77.9%(+2.1%)、TriviaQA R@5から78.2%(+1.4)、MS-MARCO MRR@10から39.5%(+1.3%)の改善が含まれている。
  論文  参考訳（メタデータ） (2021-10-07T16:41:15Z)
• End-to-End Training of Neural Retrievers for Open-Domain Question Answering [32.747113232867825]
  ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。 Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。 また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
  論文  参考訳（メタデータ） (2021-01-02T09:05:34Z)
• RECONSIDER: Re-Ranking using Span-Focused Cross-Attention for Open Domain Question Answering [49.024513062811685]
  本研究では,スパン抽出タスクのための簡易かつ効果的な再ランク付け手法(RECONSIDER)を開発した。 ReCONSIDERは、MRCモデルの高信頼予測から抽出された正および負の例に基づいて訓練される。 パス内のスパンアノテーションを使用して、より小さな候補セットに対してスパンに焦点を当てた再ランクを実行する。
  論文  参考訳（メタデータ） (2020-10-21T04:28:42Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。