論文の概要: Improving Domain-Invariance in Self-Supervised Learning via Batch Styles Standardization

• arxiv url: http://arxiv.org/abs/2303.06088v3
• Date: Mon, 24 Apr 2023 10:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 20:51:08.236200
• Title: Improving Domain-Invariance in Self-Supervised Learning via Batch Styles Standardization
• Title（参考訳）: バッチスタイル標準化による自己指導型学習におけるドメイン不変性の改善
• Authors: Marin Scalbert and Maria Vakalopoulou and Florent Couzini\'e-Devy
• Abstract要約: 本稿では,バッチ内の画像のスタイルを標準化する新しい手法を提案する。 Batchスタイルの標準化は、Fourierベースの拡張に依存し、SSLのドメイン不変性を促進する。 バッチスタイルの標準化とよく知られたコントラストベースのSimCLRの組み合わせは、CLaSSyという新しいUDGメソッドにつながる。
• 参考スコア（独自算出の注目度）: 1.4042211166197214
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The recent rise of Self-Supervised Learning (SSL) as one of the preferred strategies for learning with limited labeled data, and abundant unlabeled data has led to the widespread use of these models. They are usually pretrained, finetuned, and evaluated on the same data distribution, i.e., within an in-distribution setting. However, they tend to perform poorly in out-of-distribution evaluation scenarios, a challenge that Unsupervised Domain Generalization (UDG) seeks to address. This paper introduces a novel method to standardize the styles of images in a batch. Batch styles standardization, relying on Fourier-based augmentations, promotes domain invariance in SSL by preventing spurious correlations from leaking into the features. The combination of batch styles standardization with the well-known contrastive-based method SimCLR leads to a novel UDG method named CLaSSy ($\textbf{C}$ontrastive $\textbf{L}$e$\textbf{a}$rning with $\textbf{S}$tandardized $\textbf{S}$t$\textbf{y}$les). CLaSSy offers serious advantages over prior methods, as it does not rely on domain labels and is scalable to handle a large number of domains. Experimental results on various UDG datasets demonstrate the superior performance of CLaSSy compared to existing UDG methods. Finally, the versatility of the proposed batch styles standardization is demonstrated by extending respectively the contrastive-based and non-contrastive-based SSL methods, SWaV and MSN, while considering different backbone architectures (convolutional-based, transformers-based).
• Abstract（参考訳）: 近年の自己教師付き学習(ssl)の台頭は、限定されたラベル付きデータで学習するための推奨戦略の1つであり、豊富なラベル付きデータによってこれらのモデルが広く使われるようになった。 それらは通常、事前訓練され、微調整され、同じデータ分布、すなわち、分配内設定で評価される。 しかし、Unsupervised Domain Generalization (UDG)が解決しようとしている課題である、アウト・オブ・ディストリビューション評価のシナリオでは、うまく機能しない傾向にある。 本稿では,画像のスタイルをバッチで標準化する新しい手法を提案する。 バッチスタイルの標準化は、フーリエベースの拡張に依存しており、スプリアスな相関が機能に漏れることを防ぐためにsslのドメイン不変性を促進する。 バッチスタイルの標準化とよく知られたコントラストベースのメソッドSimCLRの組み合わせは、CLaSSy$\textbf{C}$ontrastive $\textbf{L}$e$\textbf{a}$rning with $\textbf{S}$tandardized $\textbf{S}$t$\textbf{y}$lesという新しいUDGメソッドにつながる。 CLaSSyは、ドメインラベルに依存しておらず、多数のドメインを扱うためにスケーラブルであるため、以前のメソッドよりも大きなアドバンテージを提供する。 様々なUDGデータセットの実験結果から,既存のUDG法と比較してCLaSSyの優れた性能を示した。 最後に、異なるバックボーンアーキテクチャ(畳み込みベース、トランスフォーマーベース)を考慮して、コントラストベースと非コントラストベースのSSLメソッドであるSWaVとMSNをそれぞれ拡張することで、バッチスタイルの標準化の汎用性を実証する。

関連論文リスト

• Domain-Guided Weight Modulation for Semi-Supervised Domain Generalization [11.392783918495404]
  半教師付き領域一般化の課題について検討する。 目的は、ラベル付きデータのごく一部とラベルなしデータの比較的大きな部分だけを使用しながら、ドメイン一般化可能なモデルを学ぶことである。 そこで本研究では,様々なドメインシフトの下で,正確な擬似ラベルの生成を容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T01:26:23Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Towards Generalizing to Unseen Domains with Few Labels [7.002657345547741]
  ラベル付きデータの限られたサブセットを活用することにより、ドメインの一般化可能な特徴を学習するモデルを得る。 ラベル付けされていないデータを活用できない既存のドメイン一般化(DG)手法は、半教師付き学習(SSL)法に比べて性能が劣る。
  論文  参考訳（メタデータ） (2024-03-18T11:21:52Z)
• SUG: Single-dataset Unified Generalization for 3D Point Cloud Classification [44.27324696068285]
  トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。 具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。 次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
  論文  参考訳（メタデータ） (2023-05-16T04:36:04Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Transferrable Contrastive Learning for Visual Domain Adaptation [108.98041306507372]
  Transferrable Contrastive Learning (TCL) はドメイン適応に適した自己教師型学習パラダイムである。 TCLは、クリーンで斬新な対照的な損失を通じて、ソースとターゲット間のドメイン内ドメイン間の相違を罰する。 無料のランチは、対照的な学習が組み込まれているため、TCLは、ターゲットデータのための擬似ラベルの時間的にアンサンブルされたバージョンを自然に達成する、移動平均キーエンコーダに依存している。
  論文  参考訳（メタデータ） (2021-12-14T16:23:01Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
  マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。 我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。 我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
  論文  参考訳（メタデータ） (2021-09-06T18:41:19Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。