論文の概要: Remining Hard Negatives for Generative Pseudo Labeled Domain Adaptation

• arxiv url: http://arxiv.org/abs/2501.14434v1
• Date: Fri, 24 Jan 2025 12:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:21.067697
• Title: Remining Hard Negatives for Generative Pseudo Labeled Domain Adaptation
• Title（参考訳）: 擬似ラベル付き領域適応のためのハード負の除去
• Authors: Goksenin Yuksel, David Rau, Jaap Kamps,
• Abstract要約: 最先端のドメイン適応技術はGenerative Pseudo Labeling (GPL)である ドメイン適応モデルにより検索された文書を分析し、これらが非適応モデルよりもターゲットクエリに関連があることを発見する。 我々のリミニングR-GPLアプローチは、13/14 BEIRデータセットと9/12 LoTTeデータセットのランキングパフォーマンスを向上します。
• 参考スコア（独自算出の注目度）: 0.649970685896541
• License:
• Abstract: Dense retrievers have demonstrated significant potential for neural information retrieval; however, they exhibit a lack of robustness to domain shifts, thereby limiting their efficacy in zero-shot settings across diverse domains. A state-of-the-art domain adaptation technique is Generative Pseudo Labeling (GPL). GPL uses synthetic query generation and initially mined hard negatives to distill knowledge from cross-encoder to dense retrievers in the target domain. In this paper, we analyze the documents retrieved by the domain-adapted model and discover that these are more relevant to the target queries than those of the non-domain-adapted model. We then propose refreshing the hard-negative index during the knowledge distillation phase to mine better hard negatives. Our remining R-GPL approach boosts ranking performance in 13/14 BEIR datasets and 9/12 LoTTe datasets. Our contributions are (i) analyzing hard negatives returned by domain-adapted and non-domain-adapted models and (ii) applying the GPL training with and without hard-negative re-mining in LoTTE and BEIR datasets.
• Abstract（参考訳）: しかし、それらはドメインシフトに対する堅牢性の欠如を示しており、それによってさまざまなドメインでゼロショット設定での有効性を制限している。 最先端のドメイン適応技術はGenerative Pseudo Labeling (GPL)である。 GPLは、合成クエリ生成を使用し、最初は、ターゲットドメインのクロスエンコーダから高密度レトリバーへの知識を抽出するために、ハードネガティブをマイニングした。 本稿では、ドメイン適応モデルにより検索された文書を分析し、ドメイン適応モデルよりもターゲットクエリに関連性があることを明らかにする。 そこで我々は, 知識蒸留段階における強陰性指数のリフレッシュを提案し, より優れた強陰性指数を抽出する。 我々のリミニングR-GPLアプローチは、13/14 BEIRデータセットと9/12 LoTTeデータセットのランキングパフォーマンスを向上します。 コントリビューション 一 ドメイン適応モデル及び非ドメイン適応モデルにより返却されるハードネガティブを分析すること。 2) LoTTE および BEIR データセットのハードネガティブな再マイニングを伴わないGPL トレーニングの適用。

関連論文リスト

• Cyclically Disentangled Feature Translation for Face Anti-spoofing [61.70377630461084]
  循環不整合特徴変換ネットワーク(CDFTN)と呼ばれる新しい領域適応手法を提案する。 CDFTNは、(1)ソースドメイン不変の生長特徴と2)ドメイン固有のコンテンツ特徴とを持つ擬似ラベル付きサンプルを生成する。 ソースドメインラベルの監督の下で、合成擬似ラベル付き画像に基づいてロバスト分類器を訓練する。
  論文  参考訳（メタデータ） (2022-12-07T14:12:34Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Low-confidence Samples Matter for Domain Adaptation [47.552605279925736]
  ドメイン適応(DA)は、知識をラベルの豊富なソースドメインから関連するがラベルの少ないターゲットドメインに転送することを目的としている。 低信頼度サンプルの処理による新しいコントラスト学習法を提案する。 提案手法を教師なしと半教師付きの両方のDA設定で評価する。
  論文  参考訳（メタデータ） (2022-02-06T15:45:45Z)
• GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval [43.43401655948693]
  我々は、新しい教師なしドメイン適応手法Generative Pseudo Labeling (GPL)を提案する。 6つの代表的なドメイン特化データセットにおいて、提案手法は最先端の高密度検索手法を最大8.9ポイントのnDCG@10で上回っている。
  論文  参考訳（メタデータ） (2021-12-14T17:34:43Z)
• Zero-Shot Dense Retrieval with Momentum Adversarial Domain Invariant Representations [24.703464680511154]
  我々はMoDIR(Momentum adversarial Domain Invariant Representation Learning)を提案する。 MoDIRはソースとターゲットを区別するドメイン分類器を訓練し、DRエンコーダを逆更新してドメイン不変表現を学習する。 実験の結果,MoDIR はゼロショット設定で BEIR ベンチマークから 10 以上のランキングデータセットのベースラインを頑健に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T17:45:06Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Adaptive Pseudo-Label Refinement by Negative Ensemble Learning for Source-Free Unsupervised Domain Adaptation [35.728603077621564]
  既存のUnsupervised Domain Adaptation (UDA)メソッドは、トレーニング中にソースとターゲットのドメインデータを同時に利用できると仮定する。 訓練済みのソースモデルは、よく知られたドメインシフトの問題により、ターゲットに対して性能が悪くても、常に利用可能であると考えられている。 適応型ノイズフィルタリングと擬似ラベル改良に取り組むための統一手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T22:18:34Z)
• A Free Lunch for Unsupervised Domain Adaptive Object Detection without Source Data [69.091485888121]
  教師なしドメイン適応(unsupervised domain adaptation) ソースとターゲットのドメインデータは自由に利用でき、通常、ドメイン間のギャップを減らすために一緒に訓練される。 ノイズの多いラベルで学習する問題にモデル化することで,ソースデータのないドメイン適応オブジェクト検出(SFOD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-10T01:42:35Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。