論文の概要: Disentangling Masked Autoencoders for Unsupervised Domain Generalization

• arxiv url: http://arxiv.org/abs/2407.07544v1
• Date: Wed, 10 Jul 2024 11:11:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 17:01:49.095125
• Title: Disentangling Masked Autoencoders for Unsupervised Domain Generalization
• Title（参考訳）: 教師なし領域一般化のための離間マスクオートエンコーダ
• Authors: An Zhang, Han Wang, Xiang Wang, Tat-Seng Chua,
• Abstract要約: 教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
• 参考スコア（独自算出の注目度）: 57.56744870106124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain Generalization (DG), designed to enhance out-of-distribution (OOD) generalization, is all about learning invariance against domain shifts utilizing sufficient supervision signals. Yet, the scarcity of such labeled data has led to the rise of unsupervised domain generalization (UDG) - a more important yet challenging task in that models are trained across diverse domains in an unsupervised manner and eventually tested on unseen domains. UDG is fast gaining attention but is still far from well-studied. To close the research gap, we propose a novel learning framework designed for UDG, termed the Disentangled Masked Auto Encoder (DisMAE), aiming to discover the disentangled representations that faithfully reveal the intrinsic features and superficial variations without access to the class label. At its core is the distillation of domain-invariant semantic features, which cannot be distinguished by domain classifier, while filtering out the domain-specific variations (for example, color schemes and texture patterns) that are unstable and redundant. Notably, DisMAE co-trains the asymmetric dual-branch architecture with semantic and lightweight variation encoders, offering dynamic data manipulation and representation level augmentation capabilities. Extensive experiments on four benchmark datasets (i.e., DomainNet, PACS, VLCS, Colored MNIST) with both DG and UDG tasks demonstrate that DisMAE can achieve competitive OOD performance compared with the state-of-the-art DG and UDG baselines, which shed light on potential research line in improving the generalization ability with large-scale unlabeled data.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)とは、十分な監視信号を利用して、ドメインシフトに対する不変性を学習することである。 しかし、そのようなラベル付きデータの不足は、教師なしドメインの一般化(UDG)の台頭につながっている。 UDGは急速に注目を集めているが、まだ十分に研究されていない。 本研究のギャップを埋めるために,Distangled Masked Auto Encoder (DisMAE) と呼ばれるUDG用に設計された新しい学習フレームワークを提案する。 ドメイン固有のバリエーション(例えば、カラースキームやテクスチャパターン)を不安定で冗長にフィルタリングしながら、ドメイン分類器によって区別できないドメイン不変セマンティックな特徴の蒸留である。 特にDisMAEは、非対称なデュアルブランチアーキテクチャをセマンティックで軽量な可変エンコーダで訓練し、動的なデータ操作と表現レベルの拡張機能を提供する。 DGタスクとUDGタスクを併用した4つのベンチマークデータセット(DomainNet、PACS、VLCS、Colored MNIST)の大規模な実験により、DisMAEは最先端のDGとUDGベースラインと比較して競合するOOD性能を達成できることが示された。

関連論文リスト

• Grounding Stylistic Domain Generalization with Quantitative Domain Shift Measures and Synthetic Scene Images [63.58800688320182]
  ドメインの一般化は機械学習において難しい課題である。 現在の方法論は、スタイリスティック領域におけるシフトに関する定量的な理解を欠いている。 これらのリスクに対処する新しいDGパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-05-24T22:13:31Z)
• DACAD: Domain Adaptation Contrastive Learning for Anomaly Detection in Multivariate Time Series [25.434379659643707]
  時系列異常検出では、ラベル付きデータの不足が正確なモデルの開発に困難をもたらす。 時系列における異常検出のための新しいドメインコントラスト学習モデル(DACAD)を提案する。 本モデルでは,ソース領域に対する教師付きコントラスト損失と,ターゲット領域に対する自己監督型コントラスト型3重項損失を用いる。
  論文  参考訳（メタデータ） (2024-04-17T11:20:14Z)
• DGMamba: Domain Generalization via Generalized State Space Model [80.82253601531164]
  ドメイン一般化(DG)は、様々な場面における分散シフト問題を解決することを目的としている。 Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。 本稿では,DGMamba という新たな DG フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:35:59Z)
• Make the U in UDA Matter: Invariant Consistency Learning for Unsupervised Domain Adaptation [86.61336696914447]
  ICON (Invariant Consistency Learning) の略。 我々は2つの領域に等しくの地位を与えることで、教師なしDAのUを作成することを提案する。 ICON は古典的な UDA ベンチマークである Office-Home と VisDA-2017 で最先端のパフォーマンスを実現し、挑戦的な WILDS 2.0 ベンチマークでは従来の方法よりも優れています。
  論文  参考訳（メタデータ） (2023-09-22T09:43:32Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization [26.255457629490135]
  本稿では,高品質な擬似ラベルを生成するために,共同ドメイン認識ラベルと二重分類器を用いた新しいフレームワークを提案する。 ドメインシフト中の正確な擬似ラベルを予測するために、ドメイン対応擬似ラベルモジュールを開発する。 また、一般化と擬似ラベルの矛盾した目標を考えると、訓練過程において擬似ラベルとドメインの一般化を独立に行うために二重分類器を用いる。
  論文  参考訳（メタデータ） (2021-10-10T15:17:27Z)
• COLUMBUS: Automated Discovery of New Multi-Level Features for Domain Generalization via Knowledge Corruption [12.555885317622131]
  ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。 コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
  論文  参考訳（メタデータ） (2021-09-09T14:52:05Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。