論文の概要: Adapting Self-Supervised Representations to Multi-Domain Setups

• arxiv url: http://arxiv.org/abs/2309.03999v1
• Date: Thu, 7 Sep 2023 20:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 16:45:39.473795
• Title: Adapting Self-Supervised Representations to Multi-Domain Setups
• Title（参考訳）: 自己教師付き表現のマルチドメイン設定への適応
• Authors: Neha Kalibhat, Sam Sharpe, Jeremy Goodsitt, Bayan Bruss, Soheil Feizi
• Abstract要約: 現在の最先端の自己教師型アプローチは、個々のドメインで訓練するときに有効であるが、目に見えないドメインでは限定的な一般化を示す。 本稿では,汎用的で軽量なドメイン・ディスタングル・モジュールを提案する。
• 参考スコア（独自算出の注目度）: 47.03992469282679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current state-of-the-art self-supervised approaches, are effective when trained on individual domains but show limited generalization on unseen domains. We observe that these models poorly generalize even when trained on a mixture of domains, making them unsuitable to be deployed under diverse real-world setups. We therefore propose a general-purpose, lightweight Domain Disentanglement Module (DDM) that can be plugged into any self-supervised encoder to effectively perform representation learning on multiple, diverse domains with or without shared classes. During pre-training according to a self-supervised loss, DDM enforces a disentanglement in the representation space by splitting it into a domain-variant and a domain-invariant portion. When domain labels are not available, DDM uses a robust clustering approach to discover pseudo-domains. We show that pre-training with DDM can show up to 3.5% improvement in linear probing accuracy on state-of-the-art self-supervised models including SimCLR, MoCo, BYOL, DINO, SimSiam and Barlow Twins on multi-domain benchmarks including PACS, DomainNet and WILDS. Models trained with DDM show significantly improved generalization (7.4%) to unseen domains compared to baselines. Therefore, DDM can efficiently adapt self-supervised encoders to provide high-quality, generalizable representations for diverse multi-domain data.
• Abstract（参考訳）: 現在の最先端の自己監督アプローチは、個々のドメインでトレーニングする場合に有効であるが、見えないドメインでは限定的な一般化を示す。 これらのモデルは、混合ドメイン上でトレーニングしてもあまり一般化せず、多様な実世界環境下でのデプロイには適さないと観察した。 そこで我々は,共有クラスの有無に関わらず,多種多様なドメインで表現学習を効果的に行うために,任意の自己教師付きエンコーダにプラグイン可能な汎用軽量ドメイン異角モジュール(ddm)を提案する。 自己監督的損失に従って事前トレーニングを行う際、DDMはドメイン不変部分とドメイン不変部分に分割することで表現空間のゆがみを強制する。 ドメインラベルが利用できない場合、DDMは擬似ドメインを見つけるために堅牢なクラスタリングアプローチを使用する。 PACS, DomainNet, WILDS などのマルチベンチマーク上で, DDM を用いた事前学習により, SimCLR, MoCo, BYOL, DINO, SimSiam, Barlow Twins といった最先端の自己教師型モデルに対して,線形探索精度を最大3.5%向上させることができることを示す。 DDMで訓練されたモデルでは、ベースラインに比べて一般化(7.4%)が著しく改善された。 したがって、ddmは、多種多様なマルチドメインデータに対して高品質で汎用的な表現を提供するために、自己教師付きエンコーダを効率的に適応させることができる。

関連論文リスト

• Virtual Classification: Modulating Domain-Specific Knowledge for Multidomain Crowd Counting [67.38137379297717]
  マルチドメインのクラウドカウントは、複数の多様なデータセットの一般的なモデルを学ぶことを目的としている。 ディープネットワークは、ドメインバイアスとして知られるすべてのドメインではなく、支配的なドメインの分布をモデル化することを好む。 マルチドメイン群カウントにおけるドメインバイアス問題を処理するために,MDKNet(Modulating Domain-specific Knowledge Network)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:49:04Z)
• Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning [20.17925272562433]
  マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。 本稿では,D-Train(Decoupled Training, D-Train)を提案する。 D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
  論文  参考訳（メタデータ） (2023-09-19T04:06:41Z)
• MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Point Clouds [9.568577396815602]
  Unlabelled Domain adaptation (UDA) は、教師なしターゲットドメインとラベル付きソースドメインの間の分散シフトの問題に対処する。 我々は,すべてのドメインの特徴表現を混合して,アンサンブル平均によるドメイン適応性能を向上させることを提案する。 混合表現では、ドメイン分類器を用いて、ソースドメインの特徴表現を、共有潜在空間における対象ドメインの特徴表現と区別する。
  論文  参考訳（メタデータ） (2023-04-04T06:13:33Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)
• Unified Multi-Domain Learning and Data Imputation using Adversarial Autoencoder [5.933303832684138]
  マルチドメイン学習(MDL)、データ計算(DI)、マルチタスク学習(MTL)を組み合わせた新しいフレームワークを提案する。 本手法のコアとなるのは,(1)ドメイン間の差を小さくするためにドメイン不変な埋め込みを生成すること,(2)各ドメインのデータ分布を学習し,欠落データに対するデータ計算を正しく行うこと,である。
  論文  参考訳（メタデータ） (2020-03-15T19:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。