論文の概要: COCO-DR: Combating Distribution Shifts in Zero-Shot Dense Retrieval with Contrastive and Distributionally Robust Learning

• arxiv url: http://arxiv.org/abs/2210.15212v1
• Date: Thu, 27 Oct 2022 06:51:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 13:30:18.614519
• Title: COCO-DR: Combating Distribution Shifts in Zero-Shot Dense Retrieval with Contrastive and Distributionally Robust Learning
• Title（参考訳）: COCO-DR: 相対的・分布的ロバスト学習によるゼロショット高密度検索における分配シフトの圧縮
• Authors: Yue Yu, Chenyan Xiong, Si Sun, Chao Zhang, Arnold Overwijk
• Abstract要約: COCO-DRはソーストレーニングタスクとターゲットシナリオの間の分散シフトに対処する。 未確認のターゲットクエリの準備には、異なるソースクエリクラスタからのCOCO-DRリウェイトサンプルを使用する。 本分析は,COCO-DRの分散シフト対策効果とゼロショット精度の向上の相関性を示した。
• 参考スコア（独自算出の注目度）: 26.019193895709087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new zero-shot dense retrieval (ZeroDR) method, COCO-DR, to improve the generalization ability of dense retrieval by combating the distribution shifts between source training tasks and target scenarios. To mitigate the impact of document differences, COCO-DR continues pretraining the language model on the target corpora to adapt the model to target distributions via COtinuous COtrastive learning. To prepare for unseen target queries, COCO-DR leverages implicit Distributionally Robust Optimization (iDRO) to reweight samples from different source query clusters for improving model robustness over rare queries during fine-tuning. COCO-DR achieves superior average performance on BEIR, the zero-shot retrieval benchmark. At BERT Base scale, COCO-DR Base outperforms other ZeroDR models with 60x larger size. At BERT Large scale, COCO-DR Large outperforms the giant GPT-3 embedding model which has 500x more parameters. Our analysis show the correlation between COCO-DR's effectiveness in combating distribution shifts and improving zero-shot accuracy. Our code and model can be found at \url{https://github.com/OpenMatch/COCO-DR}.
• Abstract（参考訳）: 本研究では,ゼロショット高密度検索 (zero-shot dense retrieval, coco-dr) 法を提案する。 文書の違いの影響を軽減するため、COCO-DRは目標コーパス上で言語モデルを事前訓練し、Cotinuous Cotrastive Learningを介して目標分布に適応させる。 未確認のターゲットクエリの準備として、COCO-DRは暗黙の分散ロバスト最適化(iDRO)を活用して、異なるソースクエリクラスタからのサンプルを再重み付けすることで、微調整時の稀なクエリに対するモデルロバスト性を改善する。 COCO-DR はゼロショットベンチマークベンチマーク BEIR において高い平均性能を達成する。 BERTベーススケールでは、COCO-DRベースは他のZeroDRモデルよりも60倍大きいサイズである。 BERT Large Scaleでは、COCO-DR Largeは500倍のパラメータを持つ巨大なGPT-3埋め込みモデルより優れている。 本分析は,COCO-DRの分散シフト対策効果とゼロショット精度の向上の相関関係を示す。 我々のコードとモデルは \url{https://github.com/OpenMatch/COCO-DR} で見ることができる。

関連論文リスト

• Fairness in Survival Analysis with Distributionally Robust Optimization [13.159777131162965]
  本稿では,全てのサブ集団における最悪のエラーを最小限に抑えるため,生存分析モデルにおける公平性向上のための一般的なアプローチを提案する。 このアプローチは、既存の生存分析モデルの多くを、公平性を同時に促進するモデルに変換するために使用することができる。
  論文  参考訳（メタデータ） (2024-08-31T15:03:20Z)
• Kolmogorov-Smirnov GAN [52.36633001046723]
  我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。 既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
  論文  参考訳（メタデータ） (2024-06-28T14:30:14Z)
• Towards Stable Co-saliency Detection and Object Co-segmentation [12.979401244603661]
  本稿では,CoSODとCoSEGを同時検出する新しいモデルを提案する。 まず、ダミーオーダー機構(DOM)とリカレントユニット(RU)を含むマルチパス安定リカレントユニット(MSRU)を提案する。 提案したMSRUは、CoSOD(CoSEG)モデルが堅牢な画像間関係をキャプチャするだけでなく、秩序感を低減し、より安定した推論とトレーニングプロセスを実現する。
  論文  参考訳（メタデータ） (2022-09-25T03:58:49Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
  複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。 非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。 我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-01-28T01:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。