論文の概要: Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval

• arxiv url: http://arxiv.org/abs/2208.05753v1
• Date: Thu, 11 Aug 2022 11:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-28 22:09:55.231980
• Title: Disentangled Modeling of Domain and Relevance for Adaptable Dense Retrieval
• Title（参考訳）: ドメインのアンタングルモデリングと適応的Dense Retrievalへの応用
• Authors: Jingtao Zhan, Qingyao Ai, Yiqun Liu, Jiaxin Mao, Xiaohui Xie, Min Zhang, Shaoping Ma
• Abstract要約: 本稿では,Dense Retrieval (DDR) という新しいフレームワークを提案する。 REMとDAMをアンタングルにすることで、DDRはフレキシブルなトレーニングパラダイムを可能にし、REMは一度監視でトレーニングされ、DAMは教師なしのデータでトレーニングされる。 DDRは強力なDRベースラインに比べて格付け性能が大幅に向上し、ほとんどのシナリオにおいて従来の検索手法よりも大幅に向上する。
• 参考スコア（独自算出の注目度）: 54.349418995689284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advance in Dense Retrieval (DR) techniques has significantly improved the effectiveness of first-stage retrieval. Trained with large-scale supervised data, DR models can encode queries and documents into a low-dimensional dense space and conduct effective semantic matching. However, previous studies have shown that the effectiveness of DR models would drop by a large margin when the trained DR models are adopted in a target domain that is different from the domain of the labeled data. One of the possible reasons is that the DR model has never seen the target corpus and thus might be incapable of mitigating the difference between the training and target domains. In practice, unfortunately, training a DR model for each target domain to avoid domain shift is often a difficult task as it requires additional time, storage, and domain-specific data labeling, which are not always available. To address this problem, in this paper, we propose a novel DR framework named Disentangled Dense Retrieval (DDR) to support effective and flexible domain adaptation for DR models. DDR consists of a Relevance Estimation Module (REM) for modeling domain-invariant matching patterns and several Domain Adaption Modules (DAMs) for modeling domain-specific features of multiple target corpora. By making the REM and DAMs disentangled, DDR enables a flexible training paradigm in which REM is trained with supervision once and DAMs are trained with unsupervised data. Comprehensive experiments in different domains and languages show that DDR significantly improves ranking performance compared to strong DR baselines and substantially outperforms traditional retrieval methods in most scenarios.
• Abstract（参考訳）: 近年のDense Retrieval(DR)技術は,第1段階検索の有効性を大幅に向上させた。 大規模な教師付きデータで訓練されたDRモデルは、クエリやドキュメントを低次元の高密度空間にエンコードし、効果的なセマンティックマッチングを行うことができる。 しかし、以前の研究では、トレーニングされたdrモデルがラベル付きデータのドメインとは異なるターゲット領域で採用されると、drモデルの有効性は大きなマージンで低下することが示されている。 考えられる理由の1つは、drモデルがターゲットコーパスを見たことがないため、トレーニングとターゲットドメインの違いを緩和できない可能性があることである。 残念なことに、ドメインシフトを避けるために各ドメインに対してDRモデルをトレーニングするのは、常に利用できるわけではない追加の時間、ストレージ、ドメイン固有のデータラベリングを必要とするため、しばしば難しい作業です。 そこで本論文では,DRモデルに対する有効かつ柔軟なドメイン適応を支援するために,DDR(Disentangled Dense Retrieval)と呼ばれる新しいDRフレームワークを提案する。 DDRは、ドメイン不変のマッチングパターンをモデル化するためのRelevance Estimation Module(REM)と、複数のターゲットコーパスのドメイン固有機能をモデル化するためのDAM(Domain Adaption Module)で構成される。 REMとDAMをアンタングルにすることで、DDRはフレキシブルなトレーニングパラダイムを可能にし、REMは一度監視でトレーニングされ、DAMは教師なしのデータでトレーニングされる。 異なるドメインや言語での包括的な実験により、ddrは強力なdrベースラインに比べてランキング性能が著しく向上し、ほとんどのシナリオにおいて従来の検索方法を大きく上回っていることが示されている。

関連論文リスト

• Weakly supervised deep learning model with size constraint for prostate cancer detection in multiparametric MRI and generalization to unseen domains [0.90668179713299]
  本モデルでは, 完全教師付きベースラインモデルにより, オンパー性能が向上することを示す。 また、未確認データドメインでテストした場合、完全に教師付きモデルと弱い教師付きモデルの両方のパフォーマンス低下も観察する。
  論文  参考訳（メタデータ） (2024-11-04T12:24:33Z)
• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• Grounding Stylistic Domain Generalization with Quantitative Domain Shift Measures and Synthetic Scene Images [63.58800688320182]
  ドメインの一般化は機械学習において難しい課題である。 現在の方法論は、スタイリスティック領域におけるシフトに関する定量的な理解を欠いている。 これらのリスクに対処する新しいDGパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-05-24T22:13:31Z)
• DG-TTA: Out-of-domain medical image segmentation through Domain Generalization and Test-Time Adaptation [43.842694540544194]
  本稿では、ドメインの一般化とテスト時間適応を組み合わせることで、未確認対象領域で事前学習したモデルを再利用するための非常に効果的なアプローチを提案する。 本手法は,事前訓練した全身CTモデルと組み合わせることで,MR画像を高精度に分割できることを実証する。
  論文  参考訳（メタデータ） (2023-12-11T10:26:21Z)
• Measuring the Robustness of NLP Models to Domain Shifts [50.89876374569385]
  ドメインロバストネス(DR)に関する既存の研究は、異なる設定、限られたタスクの多様性、コンテキスト内学習のような最近の能力に関する研究が不足している。 現在の研究は、チャレンジセットに焦点を当て、ソースドロップ(SD: Source Drop)のみに依存している。 我々は、ドメイン内パフォーマンスの劣化を測定するターゲットドロップ(TD)を相補的な視点として使うべきであると論じる。
  論文  参考訳（メタデータ） (2023-05-31T20:25:08Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Robustified Domain Adaptation [13.14535125302501]
  非教師付きドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識伝達に広く使用される。 UDAにおける避けられないドメイン分布の偏りは、ターゲットドメインの堅牢性をモデル化するための重要な障壁である。 頑健な UDA モデルをトレーニングするための新しいクラス一貫性のないunsupervised Domain Adaptation (CURDA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-18T22:21:54Z)
• Iterative Domain-Repaired Back-Translation [50.32925322697343]
  本稿では,ドメイン内並列コーパスが少ない,あるいは存在しない,低リソースのドメイン固有翻訳に焦点を当てる。 本稿では,合成バイリンガルデータの翻訳を洗練するためのドメイン・リペアモデルを提案する。 提案手法の有効性を示すため,NMTモデルを特定の領域と一般領域から特定の領域に適応させる実験を行った。
  論文  参考訳（メタデータ） (2020-10-06T04:38:09Z)
• A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
  大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。 多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。 限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
  論文  参考訳（メタデータ） (2020-09-01T00:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。