論文の概要: RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2010.08191v2
• Date: Wed, 12 May 2021 07:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:32:33.929982
• Title: RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering
• Title（参考訳）: RocketQA: オープンドメイン質問応答のためのアクセス検索のための最適化トレーニングアプローチ
• Authors: Yingqi Qu, Yuchen Ding, Jing Liu, Kai Liu, Ruiyang Ren, Wayne Xin Zhao, Daxiang Dong, Hua Wu, Haifeng Wang
• Abstract要約: オープンドメインの質問応答では、回答を見つけるための関連するパスを検索する新たなパラダイムとして、高密度なパス検索が採用されている。 我々は,高密度経路探索を改善するために,RocketQAと呼ばれる最適化されたトレーニング手法を提案する。 RocketQAには3つの主要な技術的コントリビューション、すなわちクロスバッチなネガ、デノナイズドハードなネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネ
• 参考スコア（独自算出の注目度）: 55.280108297460636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In open-domain question answering, dense passage retrieval has become a new paradigm to retrieve relevant passages for finding answers. Typically, the dual-encoder architecture is adopted to learn dense representations of questions and passages for semantic matching. However, it is difficult to effectively train a dual-encoder due to the challenges including the discrepancy between training and inference, the existence of unlabeled positives and limited training data. To address these challenges, we propose an optimized training approach, called RocketQA, to improving dense passage retrieval. We make three major technical contributions in RocketQA, namely cross-batch negatives, denoised hard negatives and data augmentation. The experiment results show that RocketQA significantly outperforms previous state-of-the-art models on both MSMARCO and Natural Questions. We also conduct extensive experiments to examine the effectiveness of the three strategies in RocketQA. Besides, we demonstrate that the performance of end-to-end QA can be improved based on our RocketQA retriever.
• Abstract（参考訳）: オープンドメインの質問応答において、密閉通路検索は新しいパラダイムとなり、回答を見つけるための関連通路を取得する。 通常、二重エンコーダアーキテクチャは、意味マッチングのための質問や通路の密度の高い表現を学習するために用いられる。 しかし、トレーニングと推論の相違、ラベルなし陽性の有無、限られたトレーニングデータなどにより、デュアルエンコーダを効果的に訓練することは困難である。 これらの課題に対処するために,RocketQAと呼ばれる最適化されたトレーニング手法を提案する。 RocketQAには3つの重要な技術的貢献があります。 実験の結果、RocketQAはMSMARCOとNatural Questionsの両方で従来の最先端モデルよりも大幅に優れていた。 また,RocketQAにおける3つの戦略の有効性を検討するために,広範な実験を行った。 さらに,RocketQAレシーバに基づいて,エンドツーエンドQAの性能を向上できることを実証した。

関連論文リスト

• Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology [0.34530027457862006]
  従来の研究によると、既存のモデルは、答えがつかない質問を含むEQAデータセットでトレーニングされた場合、ロバスト性の著しい欠如を示している。 提案手法は,EQA問題に対する新たな損失関数を含み,多数のEQAデータセットに存在する暗黙の仮定に挑戦する。 本モデルでは,2種類の敵攻撃に対するロバスト性が有意に向上し,デフォルトモデルに比べて性能は3分の1程度低下した。
  論文  参考訳（メタデータ） (2024-09-29T20:35:57Z)
• Query2Triple: Unified Query Encoding for Answering Diverse Complex Queries over Knowledge Graphs [29.863085746761556]
  単純で複雑なクエリのトレーニングを分離する新しいアプローチであるQuery to Triple (Q2T)を提案する。 提案するQ2Tは, トレーニングだけでなく, モジュール性にも優れ, 様々なニューラルネットワーク予測器に容易に適応できる。
  論文  参考訳（メタデータ） (2023-10-17T13:13:30Z)
• DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning [66.85379279041128]
  そこで本研究では,Dual Queries と Low-rank approximation Re- rank を利用して,文脈内学習のための例を自動選択するフレームワークを提案する。 DQ-LoRe は GPT-4 の自動選択において最先端の手法よりも優れ、92.5% から94.2% まで性能が向上した。
  論文  参考訳（メタデータ） (2023-10-04T16:44:37Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking [89.82301733609279]
  本稿では,高密度経路検索と再ランク付けのための新しい共同学習手法を提案する。 主な貢献は、動的リストワイズ蒸留を導入し、レトリバーと再ランカの両方に統一されたリストワイズトレーニングアプローチを設計することである。 ダイナミック蒸留中は、レトリバーとリランカは、互いの関連情報に応じて適応的に改善することができる。
  論文  参考訳（メタデータ） (2021-10-14T13:52:55Z)
• Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation [39.22166065525888]
  本稿では,バイラテラル生成(Bilateral Generation, BiG)という,新鮮で使いやすいデータ拡張戦略を提案する。 拡張データセットを用いて、質問応答ペアのランク付けを学習するための対照的な訓練目標を設計する。 TREC-QA,WikiQA,AntiQUEの3つのベンチマークデータセットによる実験結果から,本手法はランキングモデルの性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-06-21T13:29:43Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Learning to Recover Reasoning Chains for Multi-Hop Question Answering via Cooperative Games [66.98855910291292]
  本稿では,弱い教師付き信号から推論連鎖を復元する学習法を提案する。 証拠通路をどのように選択し、どのように選択された通路を接続するかを2つのモデルで処理する。 評価のために、2つのマルチホップQAデータセットに基づいたベンチマークを作成しました。
  論文  参考訳（メタデータ） (2020-04-06T03:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。