論文の概要: Transferrable Contrastive Learning for Visual Domain Adaptation

• arxiv url: http://arxiv.org/abs/2112.07516v1
• Date: Tue, 14 Dec 2021 16:23:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 15:22:17.077990
• Title: Transferrable Contrastive Learning for Visual Domain Adaptation
• Title（参考訳）: 視覚領域適応のための転写可能コントラスト学習
• Authors: Yang Chen and Yingwei Pan and Yu Wang and Ting Yao and Xinmei Tian and Tao Mei
• Abstract要約: Transferrable Contrastive Learning (TCL) はドメイン適応に適した自己教師型学習パラダイムである。 TCLは、クリーンで斬新な対照的な損失を通じて、ソースとターゲット間のドメイン内ドメイン間の相違を罰する。 無料のランチは、対照的な学習が組み込まれているため、TCLは、ターゲットデータのための擬似ラベルの時間的にアンサンブルされたバージョンを自然に達成する、移動平均キーエンコーダに依存している。
• 参考スコア（独自算出の注目度）: 108.98041306507372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has recently become the favorite among feature learning methodologies. It is therefore appealing for domain adaptation approaches to consider incorporating SSL. The intuition is to enforce instance-level feature consistency such that the predictor becomes somehow invariant across domains. However, most existing SSL methods in the regime of domain adaptation usually are treated as standalone auxiliary components, leaving the signatures of domain adaptation unattended. Actually, the optimal region where the domain gap vanishes and the instance level constraint that SSL peruses may not coincide at all. From this point, we present a particular paradigm of self-supervised learning tailored for domain adaptation, i.e., Transferrable Contrastive Learning (TCL), which links the SSL and the desired cross-domain transferability congruently. We find contrastive learning intrinsically a suitable candidate for domain adaptation, as its instance invariance assumption can be conveniently promoted to cross-domain class-level invariance favored by domain adaptation tasks. Based on particular memory bank constructions and pseudo label strategies, TCL then penalizes cross-domain intra-class domain discrepancy between source and target through a clean and novel contrastive loss. The free lunch is, thanks to the incorporation of contrastive learning, TCL relies on a moving-averaged key encoder that naturally achieves a temporally ensembled version of pseudo labels for target data, which avoids pseudo label error propagation at no extra cost. TCL therefore efficiently reduces cross-domain gaps. Through extensive experiments on benchmarks (Office-Home, VisDA-2017, Digits-five, PACS and DomainNet) for both single-source and multi-source domain adaptation tasks, TCL has demonstrated state-of-the-art performances.
• Abstract（参考訳）: セルフ教師付き学習(ssl)は、最近、機能学習方法論で好まれている。 したがって、SSLの導入を検討するドメイン適応アプローチは魅力的である。 その直感は、予測器がドメイン間で何らかの不変になるように、インスタンスレベルの機能の一貫性を強制することである。 しかし、ドメイン適応の段階にある既存のSSLメソッドは、通常スタンドアロンの補助的なコンポーネントとして扱われ、ドメイン適応のシグネチャは無視される。 実際、ドメインギャップが消える最適な領域と、SSLが使用するインスタンスレベルの制約はまったく一致しないかもしれない。 この点から、SSLと所望のクロスドメイン転送可能性とを連続的に結びつける、ドメイン適応に適した自己教師型学習(Transferable Contrastive Learning, TCL)のパラダイムを提示する。 ドメイン適応タスクに好まれるクロスドメインクラスレベルの不変性に対して、そのインスタンス不変性の仮定を便利に促進できるため、ドメイン適応に本質的に適する候補となる。 特定のメモリバンクの構成と擬似ラベル戦略に基づいて、tclはクリーンで新しいコントラスト損失を通じて、ソースとターゲットの間のクラス内ドメイン間の不一致を罰する。 無料のランチは、コントラスト学習の導入のおかげで、tclは移動平均鍵エンコーダに依存しており、ターゲットデータに対する擬似ラベルの時間的アンサンブルバージョンを自然に達成し、擬似ラベルエラーの伝播を余分なコストなしで回避している。 従ってtclは、クロスドメインギャップを効率的に低減する。 Office-Home、VisDA-2017、Digits-five、PACS、DomainNetのベンチマークに関する広範な実験を通じて、TCLは最先端のパフォーマンスを実証した。

関連論文リスト

• Towards domain-invariant Self-Supervised Learning with Batch Styles Standardization [1.6060199783864477]
  Batch Styles Standardization (BSS) は、バッチ内の画像のスタイルを標準化するシンプルな手法である。 BSSは未確認領域でのダウンストリームタスク性能を著しく改善し、UDG手法よりも優れ、競合することが多い。
  論文  参考訳（メタデータ） (2023-03-10T17:09:04Z)
• Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation [52.63046674453461]
  プロトタイプ・コントラスト適応(Prototypeal Contrast Adaptation, ProCA)は、教師なしドメイン適応セマンティックセマンティックセグメンテーションのための対照的な学習法である。 ProCAはクラス間の情報をクラスワイドプロトタイプに組み込み、適応のためにクラス中心の分散アライメントを採用する。
  論文  参考訳（メタデータ） (2022-07-14T04:54:26Z)
• From Big to Small: Adaptive Learning to Partial-Set Domains [94.92635970450578]
  ドメイン適応は、分布シフト中のラベル付きソースドメインからラベルなしターゲットドメインへの知識獲得と普及を目標とする。 近年の進歩は、大規模の深層学習モデルにより、小規模の下流の多様な課題に取り組むための豊富な知識が得られていることを示している。 本稿では,学習パラダイムである部分領域適応(Partial Domain Adaptation, PDA)を紹介する。
  論文  参考訳（メタデータ） (2022-03-14T07:02:45Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。