論文の概要: TFS-ViT: Token-Level Feature Stylization for Domain Generalization
- arxiv url: http://arxiv.org/abs/2303.15698v3
- Date: Sat, 16 Mar 2024 04:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 06:38:27.371550
- Title: TFS-ViT: Token-Level Feature Stylization for Domain Generalization
- Title（参考訳）: TFS-ViT:ドメインの一般化のためのToken-Level機能スティル化
- Authors: Mehrdad Noori, Milad Cheraghalikhani, Ali Bahri, Gustavo A. Vargas Hakim, David Osowiechi, Ismail Ben Ayed, Christian Desrosiers,
- Abstract要約: 視覚変換器(ViT)は、幅広いコンピュータビジョンタスクにおいて優れた性能を示している。
本稿では,ドメイン一般化のためのToken-level Feature Stylization (TFS-ViT) アプローチを提案する。
提案手法は,異なる領域の画像の正規化統計を混合することによりトークンの特徴を変換する。
- 参考スコア（独自算出の注目度）: 17.82872117103924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard deep learning models such as convolutional neural networks (CNNs) lack the ability of generalizing to domains which have not been seen during training. This problem is mainly due to the common but often wrong assumption of such models that the source and target data come from the same i.i.d. distribution. Recently, Vision Transformers (ViTs) have shown outstanding performance for a broad range of computer vision tasks. However, very few studies have investigated their ability to generalize to new domains. This paper presents a first Token-level Feature Stylization (TFS-ViT) approach for domain generalization, which improves the performance of ViTs to unseen data by synthesizing new domains. Our approach transforms token features by mixing the normalization statistics of images from different domains. We further improve this approach with a novel strategy for attention-aware stylization, which uses the attention maps of class (CLS) tokens to compute and mix normalization statistics of tokens corresponding to different image regions. The proposed method is flexible to the choice of backbone model and can be easily applied to any ViT-based architecture with a negligible increase in computational complexity. Comprehensive experiments show that our approach is able to achieve state-of-the-art performance on five challenging benchmarks for domain generalization, and demonstrate its ability to deal with different types of domain shifts. The implementation is available at: https://github.com/Mehrdad-Noori/TFS-ViT_Token-level_Feature_Stylization.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のような標準的なディープラーニングモデルには、トレーニング中に見られない領域に一般化する能力がない。
この問題は、ソースとターゲットデータが同一の i.d. 分布から来るようなモデルの一般的な仮定がしばしば間違っているためである。
近年、視覚変換器(ViT)は、幅広いコンピュータビジョンタスクにおいて優れた性能を示している。
しかし、新しい領域に一般化する能力について研究する研究はほとんどない。
本稿では、新しいドメインを合成することで、ViTのパフォーマンスを未確認データに向上させる、ドメイン一般化のための最初のToken-level Feature Stylization(TFS-ViT)アプローチを提案する。
提案手法は,異なる領域の画像の正規化統計を混合することによりトークンの特徴を変換する。
我々は、クラス(CLS)トークンのアテンションマップを用いて、異なる画像領域に対応するトークンの正規化統計を計算・混合する、注目対応型スタイリングの新しい戦略により、このアプローチをさらに改善する。
提案手法はバックボーンモデルの選択に柔軟であり,任意のViTアーキテクチャにも容易に適用可能である。
総合的な実験により、ドメイン一般化のための5つの挑戦的なベンチマークにおいて、我々のアプローチが最先端のパフォーマンスを達成できることが示され、異なるタイプのドメインシフトに対処する能力を示す。
実装は以下の通りである。 https://github.com/Mehrdad-Noori/TFS-ViT_Token-level_Feature_Stylization。
関連論文リスト
- START: A Generalized State Space Model with Saliency-Driven Token-Aware Transformation [27.301312891532277]
ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインから学習することで、モデルが対象ドメインを見えないように一般化できるようにすることを目的としている。
本稿では,最新技術(SOTA)のパフォーマンスを達成し,CNNやViTと競合する代替手段を提供するSTARTを提案する。
我々のSTARTは、SSMの入力依存行列内の有意なトークンのドメイン固有の特徴を選択的に摂動し、抑制することができるため、異なるドメイン間の差異を効果的に低減できる。
論文 参考訳（メタデータ） (2024-10-21T13:50:32Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。
最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。
データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
論文 参考訳（メタデータ） (2024-06-01T02:41:34Z) - Learning Domain Invariant Prompt for Vision-Language Models [31.581652862478965]
本稿では,メタプロンプト(MetaPrompt)と呼ばれる未確認領域に一般化可能な,固有領域不変プロンプトを直接生成する新しいプロンプト学習パラダイムを提案する。
我々の手法は既存の手法より一貫して大幅に優れています。
論文 参考訳（メタデータ） (2022-12-08T11:23:24Z) - Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。
我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。
階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
論文 参考訳（メタデータ） (2022-07-19T15:49:35Z) - Exploring Data Aggregation and Transformations to Generalize across
Visual Domains [0.0]
この論文は、ドメイン一般化(DG)、ドメイン適応(DA)およびそれらのバリエーションの研究に寄与する。
本稿では,機能集約戦略と視覚変換を利用するドメイン一般化とドメイン適応の新しいフレームワークを提案する。
提案手法が確立したDGおよびDAベンチマークにおいて,最先端の競争的アプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-20T14:58:14Z) - MixStyle Neural Networks for Domain Generalization and Adaptation [122.36901703868321]
MixStyleは、データ収集やモデルのキャパシティ向上を必要とせずに、ドメインの一般化性能を向上させるプラグイン・アンド・プレイモジュールである。
実験の結果,MixStyleは画像認識,インスタンス検索,強化学習など幅広いタスクにおいて,分布外一般化性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2021-07-05T14:29:19Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。
DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。
時系列センサと画像分類公開データセットの両方で競合性能を得る。
論文 参考訳（メタデータ） (2021-02-17T17:46:06Z) - Cross-Domain Facial Expression Recognition: A Unified Evaluation
Benchmark and Adversarial Graph Learning [85.6386289476598]
我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。
我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-08-03T15:00:31Z) - A Universal Representation Transformer Layer for Few-Shot Image
Classification [43.31379752656756]
少ないショット分類は、少数のサンプルで示される場合、目に見えないクラスを認識することを目的としている。
本稿では,多様なデータソースから未確認のクラスやサンプルを抽出するマルチドメイン・少数ショット画像分類の問題点について考察する。
そこで本研究では,メタ学習者がユニバーサルな特徴を活用できるユニバーサル表現変換器層を提案する。
論文 参考訳（メタデータ） (2020-06-21T03:08:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。