論文の概要: START: A Generalized State Space Model with Saliency-Driven Token-Aware Transformation

• arxiv url: http://arxiv.org/abs/2410.16020v1
• Date: Mon, 21 Oct 2024 13:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:18:22.597993
• Title: START: A Generalized State Space Model with Saliency-Driven Token-Aware Transformation
• Title（参考訳）: START: 順応駆動型トークン認識変換を備えた一般化状態空間モデル
• Authors: Jintao Guo, Lei Qi, Yinghuan Shi, Yang Gao,
• Abstract要約: ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから学習することで、モデルが対象ドメインを見えないように一般化できるようにすることを目的としている。 本稿では,最新技術(SOTA)のパフォーマンスを達成し,CNNやViTと競合する代替手段を提供するSTARTを提案する。 我々のSTARTは、SSMの入力依存行列内の有意なトークンのドメイン固有の特徴を選択的に摂動し、抑制することができるため、異なるドメイン間の差異を効果的に低減できる。
• 参考スコア（独自算出の注目度）: 27.301312891532277
• License:
• Abstract: Domain Generalization (DG) aims to enable models to generalize to unseen target domains by learning from multiple source domains. Existing DG methods primarily rely on convolutional neural networks (CNNs), which inherently learn texture biases due to their limited receptive fields, making them prone to overfitting source domains. While some works have introduced transformer-based methods (ViTs) for DG to leverage the global receptive field, these methods incur high computational costs due to the quadratic complexity of self-attention. Recently, advanced state space models (SSMs), represented by Mamba, have shown promising results in supervised learning tasks by achieving linear complexity in sequence length during training and fast RNN-like computation during inference. Inspired by this, we investigate the generalization ability of the Mamba model under domain shifts and find that input-dependent matrices within SSMs could accumulate and amplify domain-specific features, thus hindering model generalization. To address this issue, we propose a novel SSM-based architecture with saliency-based token-aware transformation (namely START), which achieves state-of-the-art (SOTA) performances and offers a competitive alternative to CNNs and ViTs. Our START can selectively perturb and suppress domain-specific features in salient tokens within the input-dependent matrices of SSMs, thus effectively reducing the discrepancy between different domains. Extensive experiments on five benchmarks demonstrate that START outperforms existing SOTA DG methods with efficient linear complexity. Our code is available at https://github.com/lingeringlight/START.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから学習することで、モデルが対象ドメインを見えないように一般化できるようにすることを目的としている。 既存のDG手法は、主に畳み込みニューラルネットワーク(CNN)に依存しており、基本的には、受容領域が限られたため、テクスチャバイアスを学習し、ソースドメインに過度に適合する傾向がある。 いくつかの研究では、DGがグローバルな受容場を利用するためのトランスフォーマーベースの手法(ViT)を導入しているが、これらの手法は自己注意の二次的な複雑さのために高い計算コストを発生させる。 近年,Mambaによって代表される高度な状態空間モデル (SSM) は,トレーニング中のシーケンス長の線形複雑化と推論時のRNNのような高速な計算により,教師付き学習タスクにおいて有望な結果を示している。 そこで本研究では,ドメインシフト下でのMambaモデルの一般化能力を考察し,SSM内の入力依存行列がドメイン固有の特徴を蓄積・増幅し,モデル一般化の妨げとなることを明らかにする。 この問題に対処するため、我々はSSMベースの新しいトークン認識変換(START)を提案し、最新技術(SOTA)のパフォーマンスを実現し、CNNやViTに代わる競合的な代替手段を提供する。 我々のSTARTは、SSMの入力依存行列内の有意なトークンのドメイン固有の特徴を選択的に摂動し、抑制することができるため、異なるドメイン間の差異を効果的に低減できる。 5つのベンチマークでの大規模な実験により、STARTは既存のSOTA DG法よりも効率的な線形複雑度で優れていることが示された。 私たちのコードはhttps://github.com/lingeringlight/START.comで公開されています。

関連論文リスト

• Domain-Guided Weight Modulation for Semi-Supervised Domain Generalization [11.392783918495404]
  半教師付き領域一般化の課題について検討する。 目的は、ラベル付きデータのごく一部とラベルなしデータの比較的大きな部分だけを使用しながら、ドメイン一般化可能なモデルを学ぶことである。 そこで本研究では,様々なドメインシフトの下で,正確な擬似ラベルの生成を容易にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T01:26:23Z)
• PointDGMamba: Domain Generalization of Point Cloud Classification via Generalized State Space Model [77.00221501105788]
  ドメイン一般化(DG)は、最近、ポイントクラウド分類(PCC)モデルの、目に見えない領域への一般化性を改善するために研究されている。 本稿では、DG PCCにおける状態空間モデル(SSM)の一般化可能性について研究する。 本稿では,未知の領域に対して強い一般化性を持つ新しいフレームワークであるPointDGMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-24T12:53:48Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• DGMamba: Domain Generalization via Generalized State Space Model [80.82253601531164]
  ドメイン一般化(DG)は、様々な場面における分散シフト問題を解決することを目的としている。 Mambaは、新興状態空間モデル(SSM)として、より優れた線形複雑性と大域的受容場を持つ。 本稿では,DGMamba という新たな DG フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-11T14:35:59Z)
• SETA: Semantic-Aware Token Augmentation for Domain Generalization [27.301312891532277]
  ドメイン一般化(DG)は、ターゲットドメインにアクセスすることなく、ドメインシフトに対するモデルを強化することを目的としている。 トークンベースのモデルに対する従来のCNNベースの拡張手法は、全体的な形状情報を学ぶためのモデルへのインセンティブが欠如しているため、亜最適である。 本研究では,グローバルな形状を保ちながら局所的なエッジキューを摂動することで特徴を変換するセマンティック・アウェア・トークン拡張(SETA)法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T13:50:35Z)
• CNN Feature Map Augmentation for Single-Source Domain Generalization [6.053629733936548]
  ドメイン・ジェネリゼーション(DG)はここ数年で大きな注目を集めている。 DGの目標は、トレーニング中に利用可能なものと異なるデータ分散を提示した場合、引き続き正常に機能するモデルを作成することだ。 単一ソースDG画像分類設定における畳み込みニューラルネットワークアーキテクチャの代替正則化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T08:48:17Z)
• TFS-ViT: Token-Level Feature Stylization for Domain Generalization [17.82872117103924]
  視覚変換器(ViT)は、幅広いコンピュータビジョンタスクにおいて優れた性能を示している。 本稿では,ドメイン一般化のためのToken-level Feature Stylization (TFS-ViT) アプローチを提案する。 提案手法は,異なる領域の画像の正規化統計を混合することによりトークンの特徴を変換する。
  論文  参考訳（メタデータ） (2023-03-28T03:00:28Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。