論文の概要: DGMamba: Domain Generalization via Generalized State Space Model

• arxiv url: http://arxiv.org/abs/2404.07794v1
• Date: Thu, 11 Apr 2024 14:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 13:40:16.769568
• Title: DGMamba: Domain Generalization via Generalized State Space Model
• Title（参考訳）: DGMamba: 汎用状態空間モデルによるドメインの一般化
• Authors: Shaocong Long, Qianyu Zhou, Xiangtai Li, Xuequan Lu, Chenhao Ying, Yuan Luo, Lizhuang Ma, Shuicheng Yan,
• Abstract要約: ドメイン一般化(DG)は、様々な場面における分散シフト問題を解決することを目的としている。 Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。 本稿では,DGMamba という新たな DG フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 80.82253601531164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization~(DG) aims at solving distribution shift problems in various scenes. Existing approaches are based on Convolution Neural Networks (CNNs) or Vision Transformers (ViTs), which suffer from limited receptive fields or quadratic complexities issues. Mamba, as an emerging state space model (SSM), possesses superior linear complexity and global receptive fields. Despite this, it can hardly be applied to DG to address distribution shifts, due to the hidden state issues and inappropriate scan mechanisms. In this paper, we propose a novel framework for DG, named DGMamba, that excels in strong generalizability toward unseen domains and meanwhile has the advantages of global receptive fields, and efficient linear complexity. Our DGMamba compromises two core components: Hidden State Suppressing~(HSS) and Semantic-aware Patch refining~(SPR). In particular, HSS is introduced to mitigate the influence of hidden states associated with domain-specific features during output prediction. SPR strives to encourage the model to concentrate more on objects rather than context, consisting of two designs: Prior-Free Scanning~(PFS), and Domain Context Interchange~(DCI). Concretely, PFS aims to shuffle the non-semantic patches within images, creating more flexible and effective sequences from images, and DCI is designed to regularize Mamba with the combination of mismatched non-semantic and semantic information by fusing patches among domains. Extensive experiments on four commonly used DG benchmarks demonstrate that the proposed DGMamba achieves remarkably superior results to state-of-the-art models. The code will be made publicly available.
• Abstract（参考訳）: ドメイン一般化~(DG)は,様々な場面における分布シフト問題を解決することを目的としている。 既存のアプローチは畳み込みニューラルネットワーク(CNN)やビジョントランスフォーマー(ViT)をベースとしている。 Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。 これにもかかわらず、隠れた状態問題や不適切なスキャン機構のため、DGに分散シフトに対処することは困難である。 本稿では,DGMamba という新たな DG フレームワークを提案する。DGMamba は未確認領域に対して強い一般化性を持ち,一方,大域的受容場と効率的な線形複雑性の利点がある。 我々のDGMambaは、Hedden State Suppressing~(HSS)とSemantic-aware Patch Refining~(SPR)の2つのコアコンポーネントを妥協します。 特に、HSSは、出力予測中にドメイン固有の特徴に関連する隠れ状態の影響を軽減するために導入された。 SPRは、プリエント・フリー・スキャン~(PFS)とドメイン・コンテキスト・インターチェンジ~(DCI)の2つの設計からなる、コンテキストよりもオブジェクトにもっと集中するようモデルに促そうとしている。 具体的には、PFSはイメージ内の非セマンティックパッチをシャッフルし、画像からより柔軟で効果的なシーケンスを生成することを目的としており、DCIはドメイン間のパッチを融合することで、ミスマッチした非セマンティックおよびセマンティック情報の組み合わせでマンバを正規化するように設計されている。 4つの一般的なDGベンチマークの大規模な実験により、提案されたDGMambaは最先端モデルよりもはるかに優れた結果が得られることが示された。 コードは公開されます。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• START: A Generalized State Space Model with Saliency-Driven Token-Aware Transformation [27.301312891532277]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから学習することで、モデルが対象ドメインを見えないように一般化できるようにすることを目的としている。 本稿では,最新技術(SOTA)のパフォーマンスを達成し,CNNやViTと競合する代替手段を提供するSTARTを提案する。 我々のSTARTは、SSMの入力依存行列内の有意なトークンのドメイン固有の特徴を選択的に摂動し、抑制することができるため、異なるドメイン間の差異を効果的に低減できる。
  論文  参考訳（メタデータ） (2024-10-21T13:50:32Z)
• PointDGMamba: Domain Generalization of Point Cloud Classification via Generalized State Space Model [77.00221501105788]
  ドメイン一般化(DG)は、最近、ポイントクラウド分類(PCC)モデルの、目に見えない領域への一般化性を改善するために研究されている。 本稿では、DG PCCにおける状態空間モデル(SSM)の一般化可能性について研究する。 本稿では,未知の領域に対して強い一般化性を持つ新しいフレームワークであるPointDGMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-24T12:53:48Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Semantic-Aware Domain Generalized Segmentation [67.49163582961877]
  ソースドメインでトレーニングされたディープモデルは、異なるデータ分布を持つ未確認対象ドメインで評価された場合、一般化に欠ける。 セマンティック・アウェア・正規化(SAN)とセマンティック・アウェア・ホワイトニング(SAW)の2つの新しいモジュールを含むフレームワークを提案する。 提案手法は,様々なバックボーンネットワークにおいて,既存の最先端ネットワークよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-04-02T09:09:59Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization [7.253255826783766]
  ネットワークの各端に流れる勾配の一致に基づいて連続的な重みを決定するマスキング戦略を提案する。 SAND-maskはドメイン一般化のためのDomainbedベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-06-04T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。