論文の概要: Zero-Shot Dense Retrieval with Momentum Adversarial Domain Invariant Representations

• arxiv url: http://arxiv.org/abs/2110.07581v1
• Date: Thu, 14 Oct 2021 17:45:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 13:22:38.988760
• Title: Zero-Shot Dense Retrieval with Momentum Adversarial Domain Invariant Representations
• Title（参考訳）: Momentum Adversarial Domain Invariant Representation を用いたゼロショット密度検索
• Authors: Ji Xin, Chenyan Xiong, Ashwin Srinivasan, Ankita Sharma, Damien Jose, Paul N. Bennett
• Abstract要約: 我々はMoDIR(Momentum adversarial Domain Invariant Representation Learning)を提案する。 MoDIRはソースとターゲットを区別するドメイン分類器を訓練し、DRエンコーダを逆更新してドメイン不変表現を学習する。 実験の結果,MoDIR はゼロショット設定で BEIR ベンチマークから 10 以上のランキングデータセットのベースラインを頑健に上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 24.703464680511154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrieval (DR) methods conduct text retrieval by first encoding texts in the embedding space and then matching them by nearest neighbor search. This requires strong locality properties from the representation space, i.e, the close allocations of each small group of relevant texts, which are hard to generalize to domains without sufficient training data. In this paper, we aim to improve the generalization ability of DR models from source training domains with rich supervision signals to target domains without any relevant labels, in the zero-shot setting. To achieve that, we propose Momentum adversarial Domain Invariant Representation learning (MoDIR), which introduces a momentum method in the DR training process to train a domain classifier distinguishing source versus target, and then adversarially updates the DR encoder to learn domain invariant representations. Our experiments show that MoDIR robustly outperforms its baselines on 10+ ranking datasets from the BEIR benchmark in the zero-shot setup, with more than 10% relative gains on datasets with enough sensitivity for DR models' evaluation. Source code of this paper will be released.
• Abstract（参考訳）: Dense Search (DR) 法は、テキストを埋め込み空間にエンコードし、近隣の検索でマッチングすることでテキスト検索を行う。 これは表現空間からの強い局所性プロパティ、すなわち、十分なトレーニングデータなしでドメインに一般化することが難しい、関連するテキストの小さなグループへの近接割り当てを必要とする。 本稿では、ゼロショット設定において、DRモデルのソーストレーニング領域とリッチな監視信号からターゲットドメインへの一般化能力を改善することを目的とする。 そこで本研究では、DR学習プロセスにおいて、ソースとターゲットを区別するドメイン分類器を訓練するための運動量法を導入するMomentum Adversarial Domain Invariant Representation Learning(MoDIR)を提案し、DRエンコーダを逆更新してドメイン不変表現を学習する。 実験の結果,MODIR は BEIR ベンチマークから BEIR の10 以上の評価データセットのベースラインをゼロショット設定で頑健に上回り,DR モデルの評価に十分な感度を持つデータセットに対して10% 以上の相対的なゲインが得られた。 この論文のソースコードはリリースされる予定だ。

関連論文リスト

• Remining Hard Negatives for Generative Pseudo Labeled Domain Adaptation [0.649970685896541]
  最先端のドメイン適応技術はGenerative Pseudo Labeling (GPL)である ドメイン適応モデルにより検索された文書を分析し、これらが非適応モデルよりもターゲットクエリに関連があることを発見する。 我々のリミニングR-GPLアプローチは、13/14 BEIRデータセットと9/12 LoTTeデータセットのランキングパフォーマンスを向上します。
  論文  参考訳（メタデータ） (2025-01-24T12:02:37Z)
• ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation [23.40908829241552]
  本稿では,訓練データに欠落した空中物体を特定することを目的とした,ゼロショットリモートセンシングインスタンスセグメンテーションという新しいタスクを提案する。 我々は,事前学習された視覚言語アライメントを維持するために,意味関連情報を分離する知識注入型適応戦略を導入する。 我々は,新しい実験プロトコルとベンチマークを構築し,ZoRIが最先端の性能を達成することを実証する広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-12-17T11:00:56Z)
• Heterogeneous Graph-based Framework with Disentangled Representations Learning for Multi-target Cross Domain Recommendation [7.247438542823219]
  CDR(Cross-Domain Recommendation)は、レコメンデーションシステムにおけるデータ空間の問題に対する重要な解決策である。 本稿では,HGDR (Heterogeneous Graph-based Framework with Disentangled Representations Learning)を提案する。 実世界のデータセットとオンラインA/Bテストの実験により、提案モデルがドメイン間の情報を効果的に伝達できることが証明された。
  論文  参考訳（メタデータ） (2024-07-01T02:27:54Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval [54.349418995689284]
  本稿では,Dense Retrieval (DDR) という新しいフレームワークを提案する。 REMとDAMをアンタングルにすることで、DDRはフレキシブルなトレーニングパラダイムを可能にし、REMは一度監視でトレーニングされ、DAMは教師なしのデータでトレーニングされる。 DDRは強力なDRベースラインに比べて格付け性能が大幅に向上し、ほとんどのシナリオにおいて従来の検索手法よりも大幅に向上する。
  論文  参考訳（メタデータ） (2022-08-11T11:18:50Z)
• Domain-Invariant Proposals based on a Balanced Domain Classifier for Object Detection [8.583307102907295]
  画像からのオブジェクト認識は、興味のあるオブジェクトを自動的に見つけ、カテゴリと位置情報を返すことを意味する。 畳み込みニューラルネットワーク(CNN)や生成的敵ネットワークといった深層学習の研究により、この分野のパフォーマンスは大幅に改善された。 分布のミスマッチ、すなわちドメインシフトは、大幅なパフォーマンス低下につながります。
  論文  参考訳（メタデータ） (2022-02-12T00:21:27Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。