論文の概要: Vision Transformers in Domain Adaptation and Generalization: A Study of Robustness
- arxiv url: http://arxiv.org/abs/2404.04452v1
- Date: Fri, 5 Apr 2024 23:38:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:08:32.868453
- Title: Vision Transformers in Domain Adaptation and Generalization: A Study of Robustness
- Title（参考訳）: 領域適応と一般化における視覚変換器:ロバスト性に関する研究
- Authors: Shadi Alijani, Jamil Fayyad, Homayoun Najjaran,
- Abstract要約: ディープラーニングモデルはしばしば、トレーニングと検証フェーズで使用されるものとデータ分散が異なるシナリオで評価される。
ドメイン適応と一般化は、そのようなシフトに対処するための効果的な戦略として広く認識されている。
コンピュータビジョンタスクにビジョントランスフォーマーを適用した最近の有望な結果は、その堅牢性と一般化の有意義な可能性を証明している。
- 参考スコア（独自算出の注目度）: 3.7305040207339286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models are often evaluated in scenarios where the data distribution is different from those used in the training and validation phases. The discrepancy presents a challenge for accurately predicting the performance of models once deployed on the target distribution. Domain adaptation and generalization are widely recognized as effective strategies for addressing such shifts, thereby ensuring reliable performance. The recent promising results in applying vision transformers in computer vision tasks, coupled with advancements in self-attention mechanisms, have demonstrated their significant potential for robustness and generalization in handling distribution shifts. Motivated by the increased interest from the research community, our paper investigates the deployment of vision transformers in domain adaptation and domain generalization scenarios. For domain adaptation methods, we categorize research into feature-level, instance-level, model-level adaptations, and hybrid approaches, along with other categorizations with respect to diverse strategies for enhancing domain adaptation. Similarly, for domain generalization, we categorize research into multi-domain learning, meta-learning, regularization techniques, and data augmentation strategies. We further classify diverse strategies in research, underscoring the various approaches researchers have taken to address distribution shifts by integrating vision transformers. The inclusion of comprehensive tables summarizing these categories is a distinct feature of our work, offering valuable insights for researchers. These findings highlight the versatility of vision transformers in managing distribution shifts, crucial for real-world applications, especially in critical safety and decision-making scenarios.
- Abstract（参考訳）: ディープラーニングモデルはしばしば、トレーニングと検証フェーズで使用されるものとデータ分散が異なるシナリオで評価される。
この不一致は、目標分布に展開されたモデルの性能を正確に予測する上での課題である。
ドメイン適応と一般化は、そのようなシフトに対処するための効果的な戦略として広く認識され、信頼性の高い性能が保証される。
コンピュータビジョンタスクに視覚トランスフォーマーを適用した最近の有望な成果は、自己認識機構の進歩と相まって、分散シフトの処理におけるロバスト性と一般化の有意義な可能性を実証している。
研究コミュニティの関心が高まり,ドメイン適応とドメイン一般化シナリオにおけるビジョントランスフォーマーの展開について検討した。
ドメイン適応法では、機能レベル、インスタンスレベル、モデルレベル、ハイブリッドアプローチ、およびドメイン適応を強化するための多様な戦略に関する他の分類を分類する。
同様に、ドメインの一般化については、マルチドメイン学習、メタラーニング、正規化技術、データ拡張戦略の研究を分類する。
我々は、視覚変換器を統合することで、分散シフトに対処するために研究者が行った様々なアプローチについて、研究における多様な戦略を更に分類する。
これらのカテゴリをまとめる包括的なテーブルを含めることは、我々の研究の際立った特徴であり、研究者にとって貴重な洞察を提供する。
これらの知見は、特に重要な安全性と意思決定シナリオにおいて、現実世界のアプリケーションにとって重要な、分散シフトの管理におけるビジョントランスフォーマーの汎用性を強調している。
関連論文リスト
- MLDGG: Meta-Learning for Domain Generalization on Graphs [9.872254367103057]
グラフ上のドメインの一般化は、堅牢な一般化機能を持つモデルを開発することを目的としている。
我々のフレームワークであるMDDGGは、多分野間メタラーニングを統合することで、多分野にわたる適応可能な一般化を実現する。
実験の結果,MDDGGはベースライン法を超越し,3種類の分散シフト設定で有効性を示した。
論文 参考訳（メタデータ） (2024-11-19T22:57:38Z) - Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。
既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
論文 参考訳（メタデータ） (2024-11-06T11:03:02Z) - HCVP: Leveraging Hierarchical Contrastive Visual Prompt for Domain
Generalization [69.33162366130887]
ドメイン一般化(DG)は、不変の機能を学ぶことによって、目に見えないシナリオに優れた機械学習モデルを作成するための取り組みである。
モデルにドメインレベルとタスク固有の特性を補足する新しい手法を提案する。
このアプローチは、特定の特徴から不変な特徴をより効果的に分離し、一般化を促進することを目的としている。
論文 参考訳（メタデータ） (2024-01-18T04:23:21Z) - Robust Computer Vision in an Ever-Changing World: A Survey of Techniques
for Tackling Distribution Shifts [20.17397328893533]
AIアプリケーションは、ますます一般大衆に注目を集めている。
コンピュータビジョンモデルに関する理論的な仮定と、それらのモデルが現実世界に展開する際に直面する現実との間には、顕著なギャップがある。
このギャップの重要な理由の1つは、分散シフトとして知られる難しい問題である。
論文 参考訳（メタデータ） (2023-12-03T23:40:12Z) - Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving [49.03947018718156]
協調的な知覚の訓練と推論の段階で利用される統合されたドメイン一般化フレームワークを提案する。
また、システム内ドメインアライメント機構を導入し、コネクテッドおよび自律走行車間のドメインの差を減らし、潜在的に排除する。
論文 参考訳（メタデータ） (2023-11-28T12:52:49Z) - Invariance is Key to Generalization: Examining the Role of
Representation in Sim-to-Real Transfer for Visual Navigation [35.01394611106655]
一般化の鍵は、すべてのタスク関連情報をキャプチャするのに十分なリッチな表現である。
このような視覚ナビゲーションの表現を実験的に研究する。
我々の表現は、トレーニングドメインとテストドメイン間のA距離を減少させる。
論文 参考訳（メタデータ） (2023-10-23T15:15:19Z) - A Recent Survey of Heterogeneous Transfer Learning [15.830786437956144]
異種移動学習は 様々なタスクにおいて 重要な戦略となっている。
データベースとモデルベースの両方のアプローチを網羅した60以上のHTLメソッドの広範なレビューを提供する。
自然言語処理,コンピュータビジョン,マルチモーダル学習,バイオメディシンの応用について検討する。
論文 参考訳（メタデータ） (2023-10-12T16:19:58Z) - Integrating Contrastive Learning into a Multitask Transformer Model for
Effective Domain Adaptation [4.157415305926585]
本稿では,SERを主課題とするマルチタスクフレームワークを具現化した新しいドメイン適応手法を提案する。
提案手法は, クロスコーパスシナリオにおけるSERの最先端性能を実現する。
論文 参考訳（メタデータ） (2023-10-07T06:41:29Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - Improving Diversity with Adversarially Learned Transformations for
Domain Generalization [81.26960899663601]
本稿では、ニューラルネットワークを用いた逆学習変換(ALT)を用いて、可塑性かつハードな画像変換をモデル化する新しいフレームワークを提案する。
我々は、ALTが既存の多様性モジュールと自然に連携して、ソースドメインの大規模変換によって最先端のパフォーマンスを実現することを示す。
論文 参考訳（メタデータ） (2022-06-15T18:05:24Z) - Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring
Network [58.05473757538834]
本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。
3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
論文 参考訳（メタデータ） (2021-07-27T14:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。