論文の概要: Towards domain-invariant Self-Supervised Learning with Batch Styles Standardization

• arxiv url: http://arxiv.org/abs/2303.06088v4
• Date: Thu, 5 Oct 2023 09:55:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 22:41:41.603925
• Title: Towards domain-invariant Self-Supervised Learning with Batch Styles Standardization
• Title（参考訳）: バッチスタイル標準化によるドメイン不変自己教師付き学習に向けて
• Authors: Marin Scalbert and Maria Vakalopoulou and Florent Couzini\'e-Devy
• Abstract要約: Batch Styles Standardization (BSS) は、バッチ内の画像のスタイルを標準化するシンプルな手法である。 BSSは未確認領域でのダウンストリームタスク性能を著しく改善し、UDG手法よりも優れ、競合することが多い。
• 参考スコア（独自算出の注目度）: 1.6060199783864477
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In Self-Supervised Learning (SSL), models are typically pretrained, fine-tuned, and evaluated on the same domains. However, they tend to perform poorly when evaluated on unseen domains, a challenge that Unsupervised Domain Generalization (UDG) seeks to address. Current UDG methods rely on domain labels, which are often challenging to collect, and domain-specific architectures that lack scalability when confronted with numerous domains, making the current methodology impractical and rigid. Inspired by contrastive-based UDG methods that mitigate spurious correlations by restricting comparisons to examples from the same domain, we hypothesize that eliminating style variability within a batch could provide a more convenient and flexible way to reduce spurious correlations without requiring domain labels. To verify this hypothesis, we introduce Batch Styles Standardization (BSS), a relatively simple yet powerful Fourier-based method to standardize the style of images in a batch specifically designed for integration with SSL methods to tackle UDG. Combining BSS with existing SSL methods offers serious advantages over prior UDG methods: (1) It eliminates the need for domain labels or domain-specific network components to enhance domain-invariance in SSL representations, and (2) offers flexibility as BSS can be seamlessly integrated with diverse contrastive-based but also non-contrastive-based SSL methods. Experiments on several UDG datasets demonstrate that it significantly improves downstream task performances on unseen domains, often outperforming or rivaling with UDG methods. Finally, this work clarifies the underlying mechanisms contributing to BSS's effectiveness in improving domain-invariance in SSL representations and performances on unseen domain.
• Abstract（参考訳）: Self-Supervised Learning (SSL)では、モデルは通常、トレーニング済み、微調整され、同じドメインで評価される。 しかし、非監視ドメインの評価では性能が低下する傾向があり、unsupervised domain generalization (udg) が対処しようとしている。 現在のUDGメソッドは、収集が困難なドメインラベルと、多くのドメインに直面するとスケーラビリティに欠けるドメイン固有のアーキテクチャに依存しているため、現在の方法論は非現実的で厳密である。 同じドメインの例との比較を制限することで、スプリアス相関を緩和するコントラストベースのudg法に触発されて、バッチ内のスタイル変動の排除により、ドメインラベルを必要とせずにスプリアス相関を低減できる、より便利で柔軟な方法を提供できると仮定した。 この仮説を検証するために,我々は,UDGに対処するSSLメソッドとの統合に特化して設計されたバッチにおいて,画像のスタイルを標準化する比較的単純なFourierベースの手法であるBatch Styles Standardization (BSS)を紹介した。 既存のSSLメソッドとBSSを組み合わせることで、従来のUDGメソッドよりも大きなメリットがある。(1)SSL表現のドメイン不変性を高めるためにドメインラベルやドメイン固有のネットワークコンポーネントを不要にし、(2)BSSが多様なコントラストベースでも非コントラストベースのSSLメソッドとシームレスに統合できるため、柔軟性を提供する。 いくつかのudgデータセットにおける実験により、非シードドメインにおけるダウンストリームタスクのパフォーマンスが大幅に向上し、udgメソッドよりもパフォーマンスが向上するか、あるいは競合していることが示されている。 最後に、この研究は、SSL表現におけるドメイン不変性の改善におけるBSSの有効性に寄与する基盤メカニズムを明らかにします。

関連論文リスト

• Domain-Guided Weight Modulation for Semi-Supervised Domain Generalization [11.392783918495404]
  半教師付き領域一般化の課題について検討する。 目的は、ラベル付きデータのごく一部とラベルなしデータの比較的大きな部分だけを使用しながら、ドメイン一般化可能なモデルを学ぶことである。 そこで本研究では,様々なドメインシフトの下で,正確な擬似ラベルの生成を容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T01:26:23Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Towards Generalizing to Unseen Domains with Few Labels [7.002657345547741]
  ラベル付きデータの限られたサブセットを活用することにより、ドメインの一般化可能な特徴を学習するモデルを得る。 ラベル付けされていないデータを活用できない既存のドメイン一般化(DG)手法は、半教師付き学習(SSL)法に比べて性能が劣る。
  論文  参考訳（メタデータ） (2024-03-18T11:21:52Z)
• SUG: Single-dataset Unified Generalization for 3D Point Cloud Classification [44.27324696068285]
  トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。 具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。 次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
  論文  参考訳（メタデータ） (2023-05-16T04:36:04Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Transferrable Contrastive Learning for Visual Domain Adaptation [108.98041306507372]
  Transferrable Contrastive Learning (TCL) はドメイン適応に適した自己教師型学習パラダイムである。 TCLは、クリーンで斬新な対照的な損失を通じて、ソースとターゲット間のドメイン内ドメイン間の相違を罰する。 無料のランチは、対照的な学習が組み込まれているため、TCLは、ターゲットデータのための擬似ラベルの時間的にアンサンブルされたバージョンを自然に達成する、移動平均キーエンコーダに依存している。
  論文  参考訳（メタデータ） (2021-12-14T16:23:01Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
  マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。 我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。 我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
  論文  参考訳（メタデータ） (2021-09-06T18:41:19Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。