論文の概要: DGMamba: Domain Generalization via Generalized State Space Model
- arxiv url: http://arxiv.org/abs/2404.07794v2
- Date: Thu, 9 May 2024 13:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 17:29:35.212868
- Title: DGMamba: Domain Generalization via Generalized State Space Model
- Title(参考訳): DGMamba: 汎用状態空間モデルによるドメインの一般化
- Authors: Shaocong Long, Qianyu Zhou, Xiangtai Li, Xuequan Lu, Chenhao Ying, Yuan Luo, Lizhuang Ma, Shuicheng Yan,
- Abstract要約: ドメイン一般化(DG)は、様々な場面における分散シフト問題を解決することを目的としている。
Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。
本稿では,DGMamba という新たな DG フレームワークを提案する。
- 参考スコア(独自算出の注目度): 80.82253601531164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization~(DG) aims at solving distribution shift problems in various scenes. Existing approaches are based on Convolution Neural Networks (CNNs) or Vision Transformers (ViTs), which suffer from limited receptive fields or quadratic complexities issues. Mamba, as an emerging state space model (SSM), possesses superior linear complexity and global receptive fields. Despite this, it can hardly be applied to DG to address distribution shifts, due to the hidden state issues and inappropriate scan mechanisms. In this paper, we propose a novel framework for DG, named DGMamba, that excels in strong generalizability toward unseen domains and meanwhile has the advantages of global receptive fields, and efficient linear complexity. Our DGMamba compromises two core components: Hidden State Suppressing~(HSS) and Semantic-aware Patch refining~(SPR). In particular, HSS is introduced to mitigate the influence of hidden states associated with domain-specific features during output prediction. SPR strives to encourage the model to concentrate more on objects rather than context, consisting of two designs: Prior-Free Scanning~(PFS), and Domain Context Interchange~(DCI). Concretely, PFS aims to shuffle the non-semantic patches within images, creating more flexible and effective sequences from images, and DCI is designed to regularize Mamba with the combination of mismatched non-semantic and semantic information by fusing patches among domains. Extensive experiments on four commonly used DG benchmarks demonstrate that the proposed DGMamba achieves remarkably superior results to state-of-the-art models. The code will be made publicly available.
- Abstract(参考訳): ドメイン一般化~(DG)は,様々な場面における分布シフト問題を解決することを目的としている。
既存のアプローチは畳み込みニューラルネットワーク(CNN)やビジョントランスフォーマー(ViT)をベースとしている。
Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。
これにもかかわらず、隠れた状態問題や不適切なスキャン機構のため、DGに分散シフトに対処することは困難である。
本稿では,DGMamba という新たな DG フレームワークを提案する。DGMamba は未確認領域に対して強い一般化性を持ち,一方,大域的受容場と効率的な線形複雑性の利点がある。
我々のDGMambaは、Hedden State Suppressing~(HSS)とSemantic-aware Patch Refining~(SPR)の2つのコアコンポーネントを妥協します。
特に、HSSは、出力予測中にドメイン固有の特徴に関連する隠れ状態の影響を軽減するために導入された。
SPRは、プリエント・フリー・スキャン~(PFS)とドメイン・コンテキスト・インターチェンジ~(DCI)の2つの設計からなる、コンテキストよりもオブジェクトにもっと集中するようモデルに促そうとしている。
具体的には、PFSはイメージ内の非セマンティックパッチをシャッフルし、画像からより柔軟で効果的なシーケンスを生成することを目的としており、DCIはドメイン間のパッチを融合することで、ミスマッチした非セマンティックおよびセマンティック情報の組み合わせでマンバを正規化するように設計されている。
4つの一般的なDGベンチマークの大規模な実験により、提案されたDGMambaは最先端モデルよりもはるかに優れた結果が得られることが示された。
コードは公開されます。
関連論文リスト
- Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。
Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。
DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
論文 参考訳(メタデータ) (2024-07-10T11:11:36Z) - Semi Supervised Heterogeneous Domain Adaptation via Disentanglement and Pseudo-Labelling [4.33404822906643]
半教師付きドメイン適応法は、ソースラベル付きドメインからの情報を利用して、少ないラベル付きターゲットドメインを一般化する。
このような設定は半教師付き不均質ドメイン適応(SSHDA)と表記される。
SHEDD(Semi-supervised Heterogeneous Domain Adaptation via Disentanglement)は,対象ドメインの学習に適したエンドツーエンドのニューラルネットワークフレームワークである。
論文 参考訳(メタデータ) (2024-06-20T08:02:49Z) - Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。
AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。
その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
論文 参考訳(メタデータ) (2022-08-03T11:51:11Z) - Localized Adversarial Domain Generalization [83.4195658745378]
対数領域の一般化は、領域の一般化に対する一般的なアプローチである。
空間コンパクト性維持(LADG)を用いた局所対向領域の一般化を提案する。
我々はWilds DGベンチマークで包括的な実験を行い、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2022-05-09T08:30:31Z) - Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。
組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。
4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
論文 参考訳(メタデータ) (2022-03-24T11:54:59Z) - SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of
Invariances in Domain Generalization [7.253255826783766]
ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。
SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
論文 参考訳(メタデータ) (2021-06-04T05:20:54Z) - Generalizable Representation Learning for Mixture Domain Face
Anti-Spoofing [53.82826073959756]
ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。
ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。
この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
論文 参考訳(メタデータ) (2021-05-06T06:04:59Z) - Dual Distribution Alignment Network for Generalizable Person
Re-Identification [174.36157174951603]
ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する
本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。
大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
論文 参考訳(メタデータ) (2020-07-27T00:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。