論文の概要: How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval

• arxiv url: http://arxiv.org/abs/2302.07452v1
• Date: Wed, 15 Feb 2023 03:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-16 15:52:12.925266
• Title: How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval
• Title（参考訳）: DRAGONのトレーニング方法 - 一般化可能なDense Retrievalに向けての多角的拡張
• Authors: Sheng-Chieh Lin, Akari Asai, Minghan Li, Barlas Oguz, Jimmy Lin, Yashar Mehdad, Wen-tau Yih, Xilun Chen
• Abstract要約: 教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。 多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
• 参考スコア（独自算出の注目度）: 80.54532535622988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Various techniques have been developed in recent years to improve dense retrieval (DR), such as unsupervised contrastive learning and pseudo-query generation. Existing DRs, however, often suffer from effectiveness tradeoffs between supervised and zero-shot retrieval, which some argue was due to the limited model capacity. We contradict this hypothesis and show that a generalizable DR can be trained to achieve high accuracy in both supervised and zero-shot retrieval without increasing model size. In particular, we systematically examine the contrastive learning of DRs, under the framework of Data Augmentation (DA). Our study shows that common DA practices such as query augmentation with generative models and pseudo-relevance label creation using a cross-encoder, are often inefficient and sub-optimal. We hence propose a new DA approach with diverse queries and sources of supervision to progressively train a generalizable DR. As a result, DRAGON, our dense retriever trained with diverse augmentation, is the first BERT-base-sized DR to achieve state-of-the-art effectiveness in both supervised and zero-shot evaluations and even competes with models using more complex late interaction (ColBERTv2 and SPLADE++).
• Abstract（参考訳）: 近年,教師なしコントラスト学習や擬似クエリ生成など,高密度検索(DR)を改善する技術が開発されている。 しかし、既存のdrsは教師付き検索とゼロショット検索の効率上のトレードオフに苦しむことが多い。 この仮説と矛盾し、一般化可能なdrはモデルサイズを増加させることなく教師付き検索とゼロショット検索の両方において高い精度を達成するように訓練できることを示した。 特に、データ拡張(DA)の枠組みの下で、DRの対照的な学習を体系的に検討する。 本研究は,生成モデルを用いたクエリ拡張やクロスエンコーダを用いた擬似関係ラベル生成といった一般的なdaプラクティスが,しばしば非効率で最適であることを示す。 そこで我々は,より複雑な遅延相互作用(colbertv2 と splade++)を用いたモデルと競合する,教師付きおよびゼロショット評価の両方において最先端の有効性を実現した最初のbertベースサイズのdrであるdragonを提案する。

関連論文リスト

• Divergent Domains, Convergent Grading: Enhancing Generalization in Diabetic Retinopathy Grading [8.59772105902647]
  糖尿病網膜症(DR)は世界の視覚障害の5%を占める。 DRグレーディングにおけるドメイン一般化(DG)を実現するための新しいディープラーニング手法を提案する。 本手法は,経験的リスク最小化ベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-11-04T21:09:24Z)
• Generalizing to Unseen Domains in Diabetic Retinopathy Classification [8.59772105902647]
  糖尿病網膜症分類における分布や領域の特定にモデルを一般化する問題について検討した。 本稿では、視覚変換器の自己蒸留を実現するための、シンプルで効果的な領域一般化(DG)手法を提案する。 本稿では,オープンソースのDR分類データセット上での最先端DG手法の性能について報告する。
  論文  参考訳（メタデータ） (2023-10-26T09:11:55Z)
• Black-box Adversarial Attacks against Dense Retrieval Models: A Multi-view Contrastive Learning Method [115.29382166356478]
  本稿では,敵探索攻撃(AREA)タスクを紹介する。 DRモデルは、DRモデルによって取得された候補文書の初期セットの外側にあるターゲット文書を取得するように、DRモデルを騙すことを目的としている。 NRM攻撃で報告された有望な結果は、DRモデルに一般化されない。 マルチビュー表現空間における対照的な学習問題として,DRモデルに対する攻撃を形式化する。
  論文  参考訳（メタデータ） (2023-08-19T00:24:59Z)
• Measuring the Robustness of NLP Models to Domain Shifts [50.89876374569385]
  ドメインロバストネス(DR)に関する既存の研究は、異なる設定、限られたタスクの多様性、コンテキスト内学習のような最近の能力に関する研究が不足している。 現在の研究は、チャレンジセットに焦点を当て、ソースドロップ(SD: Source Drop)のみに依存している。 我々は、ドメイン内パフォーマンスの劣化を測定するターゲットドロップ(TD)を相補的な視点として使うべきであると論じる。
  論文  参考訳（メタデータ） (2023-05-31T20:25:08Z)
• Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning [57.83232242068982]
  データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。 サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。 本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
  論文  参考訳（メタデータ） (2023-05-25T15:46:20Z)
• A Generalized Doubly Robust Learning Framework for Debiasing Post-Click Conversion Rate Prediction [23.340584290411208]
  クリック後変換率(CVR)予測は、ユーザの興味を見つけ、プラットフォーム収益を増やすための重要なタスクである。 現在、Doublely robust(DR)学習アプローチは、CVR予測を損なうための最先端のパフォーマンスを実現している。 本稿では,DR損失のバイアスを制御し,バイアスと分散を柔軟にバランスするDR-BIASとDR-MSEの2つの新しいDR手法を提案する。
  論文  参考訳（メタデータ） (2022-11-12T15:09:23Z)
• Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval [54.349418995689284]
  本稿では,Dense Retrieval (DDR) という新しいフレームワークを提案する。 REMとDAMをアンタングルにすることで、DDRはフレキシブルなトレーニングパラダイムを可能にし、REMは一度監視でトレーニングされ、DAMは教師なしのデータでトレーニングされる。 DDRは強力なDRベースラインに比べて格付け性能が大幅に向上し、ほとんどのシナリオにおいて従来の検索手法よりも大幅に向上する。
  論文  参考訳（メタデータ） (2022-08-11T11:18:50Z)
• Augmentation-induced Consistency Regularization for Classification [25.388324221293203]
  我々はCR-Augと呼ばれるデータ拡張に基づく一貫性の規則化フレームワークを提案する。 CR-Augは、データ拡張によって生成された異なるサブモデルの出力分布を互いに整合するように強制する。 画像と音声の分類タスクにCR-Augを実装し、その有効性を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2022-05-25T03:15:36Z)
• Doubly Robust Collaborative Targeted Learning for Recommendation on Data Missing Not at Random [6.563595953273317]
  推薦システムでは、受信したフィードバックデータが常にランダムではない(MNAR)。 本稿では,エラー計算(EIB)法と二重頑健(DR)法の両方の利点を効果的に捉えるbf DR-TMLEを提案する。 我々はまた、bf DR-TMLE-TLと呼ばれるDR-TMLEのための新しいRCT非協調目標学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-19T06:48:50Z)
• Analyzing Dynamic Adversarial Training Data in the Limit [50.00850852546616]
  動的逆データ収集(DADC)は、このような多様なトレーニングセットを生成するためのアプローチとして、約束を守る。 本研究は,NLIの20ラウンドを少数の前提項で収集する,長期DADCに関する最初の研究である。 DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが、非敵のデータでトレーニングされたモデルよりも26%少なくなります。
  論文  参考訳（メタデータ） (2021-10-16T08:48:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。