論文の概要: RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking

• arxiv url: http://arxiv.org/abs/2110.07367v2
• Date: Sun, 23 Apr 2023 16:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 01:03:27.715622
• Title: RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking
• Title（参考訳）: RocketQAv2:Dense Passage RetrievalとPassage Re- rankの共同トレーニング方法
• Authors: Ruiyang Ren, Yingqi Qu, Jing Liu, Wayne Xin Zhao, Qiaoqiao She, Hua Wu, Haifeng Wang and Ji-Rong Wen
• Abstract要約: 本稿では,高密度経路検索と再ランク付けのための新しい共同学習手法を提案する。 主な貢献は、動的リストワイズ蒸留を導入し、レトリバーと再ランカの両方に統一されたリストワイズトレーニングアプローチを設計することである。 ダイナミック蒸留中は、レトリバーとリランカは、互いの関連情報に応じて適応的に改善することができる。
• 参考スコア（独自算出の注目度）: 89.82301733609279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In various natural language processing tasks, passage retrieval and passage re-ranking are two key procedures in finding and ranking relevant information. Since both the two procedures contribute to the final performance, it is important to jointly optimize them in order to achieve mutual improvement. In this paper, we propose a novel joint training approach for dense passage retrieval and passage re-ranking. A major contribution is that we introduce the dynamic listwise distillation, where we design a unified listwise training approach for both the retriever and the re-ranker. During the dynamic distillation, the retriever and the re-ranker can be adaptively improved according to each other's relevance information. We also propose a hybrid data augmentation strategy to construct diverse training instances for listwise training approach. Extensive experiments show the effectiveness of our approach on both MSMARCO and Natural Questions datasets. Our code is available at https://github.com/PaddlePaddle/RocketQA.
• Abstract（参考訳）: 様々な自然言語処理タスクにおいて,経路検索と経路再ランク付けは関連情報の検索とランキングの2つの重要な手順である。 2つの手順が最終性能に寄与するため、相互改善を達成するために共同で最適化することが重要である。 本稿では,高密度経路検索と再ランク付けのための新しい共同学習手法を提案する。 大きな貢献は、動的リストワイズ蒸留法を導入し、レトリバーとリランクラーの両方に対して統一的なリストワイズ訓練手法を設計することである。 ダイナミック蒸留中に、相互の関連情報に応じてレトリバーと再ランク付け器を適応的に改善することができる。 また、リストワイズトレーニングアプローチのための多様なトレーニングインスタンスを構築するためのハイブリッドデータ拡張戦略を提案する。 MSMARCOとNatural Questionsの両方のデータセットに対するアプローチの有効性を示す。 私たちのコードはhttps://github.com/paddlepaddle/rocketqaで利用可能です。

関連論文リスト

• Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula [23.071384759427072]
  状態空間モデル(SSM)はトランスフォーマーよりも利点があるが、長期のコンテキスト内検索のようなテキストコピー、連想リコール、質問応答を必要とするタスクに苦労する。 本研究では,SSMのコンテキスト内検索能力を大幅に向上する新たな学習手法であるBirdieを提案する。
  論文  参考訳（メタデータ） (2024-11-01T21:01:13Z)
• Improve Dense Passage Retrieval with Entailment Tuning [22.39221206192245]
  検索システムの鍵となるのは、クエリとパスペアの関連スコアを計算することである。 我々は、NLIタスクにおけるエンテーメントの概念と、関連性の主要なクラスが一致していることを観察した。 我々は,高密度レトリバーの埋め込みを改善するために,エンテーメントチューニングと呼ばれる手法を設計する。
  論文  参考訳（メタデータ） (2024-10-21T09:18:30Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Hybrid and Collaborative Passage Reranking [144.83902343298112]
  本稿では,HybRank(HybRank)手法を提案する。 スパースとシークエンスレトリバーの語彙的および意味的特性を組み込んで再ランク付けする。 HybRankは、既製のレトリバー機能をベースに構築されており、任意のパスリストを拡張できるプラグインリランカである。
  論文  参考訳（メタデータ） (2023-05-16T09:38:52Z)
• Cooperative Retriever and Ranker in Deep Recommenders [75.35463122701135]
  ディープ・レコメンダ・システム (DRS) は、現代のウェブサービスに強く適用されている。 DRSは検索とランキングという2段階のワークフローを使用して、推奨結果を生成する。 また、レトリバーとランサーの効果的なコラボレーションも検討している。
  論文  参考訳（メタデータ） (2022-06-28T03:41:50Z)
• Generic resources are what you need: Style transfer tasks without task-specific parallel training data [4.181049191386633]
  スタイル転送は、コンテンツを保存しながら、ソーステキストを異なるターゲットスタイルで書き直すことを目的としている。 本稿では, 汎用資源を活用した新しい手法を提案する。 我々は、汎用的な事前学習シーケンス・ツー・シーケンスモデルに基づくマルチステップ手順を採用する。
  論文  参考訳（メタデータ） (2021-09-09T20:15:02Z)
• PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval [87.68667887072324]
  本稿では,クエリ中心とPAssage中心のsmilarity Relations(PAIR)を併用した新しい手法を提案する。 本稿では,2種類の類似性関係の形式的定式化を導入することにより,3つの主要な技術的貢献を行う。 MSMARCOとNatural Questionsの両方のデータセットにおいて、従来の最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-08-13T02:07:43Z)
• RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering [55.280108297460636]
  オープンドメインの質問応答では、回答を見つけるための関連するパスを検索する新たなパラダイムとして、高密度なパス検索が採用されている。 我々は,高密度経路探索を改善するために,RocketQAと呼ばれる最適化されたトレーニング手法を提案する。 RocketQAには3つの主要な技術的コントリビューション、すなわちクロスバッチなネガ、デノナイズドハードなネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネガネ
  論文  参考訳（メタデータ） (2020-10-16T06:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。