論文の概要: Aligning Non-Causal Factors for Transformer-Based Source-Free Domain Adaptation

• arxiv url: http://arxiv.org/abs/2311.16294v1
• Date: Mon, 27 Nov 2023 20:13:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 21:01:30.649083
• Title: Aligning Non-Causal Factors for Transformer-Based Source-Free Domain Adaptation
• Title（参考訳）: トランスフォーマーに基づくソースフリードメイン適応のための非因果係数の調整
• Authors: Sunandini Sanyal, Ashish Ramayee Asokan, Suvaansh Bhambri, Pradyumna YM, Akshay Kulkarni, Jogendra Nath Kundu, R Venkatesh Babu
• Abstract要約: そこで我々は,2段階アライメント方式により不整合を実現するために,Causality-enforcecing Source-Free Transformer framework (C-SFTrans) を構築した。 我々は、プライバシを保存するソースフリー環境でのビジョントランスフォーマー(ViT)の役割を最初に調査する。
• 参考スコア（独自算出の注目度）: 33.72210016065791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional domain adaptation algorithms aim to achieve better generalization by aligning only the task-discriminative causal factors between a source and target domain. However, we find that retaining the spurious correlation between causal and non-causal factors plays a vital role in bridging the domain gap and improving target adaptation. Therefore, we propose to build a framework that disentangles and supports causal factor alignment by aligning the non-causal factors first. We also investigate and find that the strong shape bias of vision transformers, coupled with its multi-head attention, make it a suitable architecture for realizing our proposed disentanglement. Hence, we propose to build a Causality-enforcing Source-Free Transformer framework (C-SFTrans) to achieve disentanglement via a novel two-stage alignment approach: a) non-causal factor alignment: non-causal factors are aligned using a style classification task which leads to an overall global alignment, b) task-discriminative causal factor alignment: causal factors are aligned via target adaptation. We are the first to investigate the role of vision transformers (ViTs) in a privacy-preserving source-free setting. Our approach achieves state-of-the-art results in several DA benchmarks.
• Abstract（参考訳）: 従来の領域適応アルゴリズムは、ソースとターゲットドメインの間のタスク識別因果関係のみを整列させることにより、より良い一般化を実現することを目的としている。 しかし, 因果的要因と非因果的要因の相互関係を維持することは, 領域ギャップを埋める上で重要な役割を担っている。 そこで本稿では,非因果因子をまずアライメントすることで因果因子のアライメントを支援する枠組みを構築することを提案する。 また,視覚トランスフォーマーの強い形状バイアスと多面的注意が組み合わさって,提案する異角化を実現するのに適したアーキテクチャであることが判明した。 そこで,本稿では,新たな二段階アライメントアプローチによる絡み合いを実現するために,因果性強化型ソースフリートランスフォーマーフレームワーク(c-sftrans)を構築することを提案する。 a)非因果因子のアライメント:非因果因子は、全体的なグローバルなアライメントにつながるスタイル分類タスクを用いて整列される。 b) タスク識別因果因子のアライメント: 因果因子は、目標適応を介して整列する。 我々は、プライバシを保存するソースフリー環境でのビジョントランスフォーマー(ViT)の役割を最初に調査する。 我々のアプローチはいくつかのdaベンチマークで最先端の結果を得る。

関連論文リスト

• A Causal Inspired Early-Branching Structure for Domain Generalization [46.55514281988053]
  ドメイン不変セマンティック表現の学習は、ドメインの一般化を達成するために不可欠である。 標準的なトレーニングは、しばしば絡み合った意味とドメイン固有の特徴をもたらす。 これまでの研究は、因果的な観点から問題を定式化することを示唆している。 基本的なフレームワークを補完する2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-13T16:04:29Z)
• Causal Prototype-inspired Contrast Adaptation for Unsupervised Domain Adaptive Semantic Segmentation of High-resolution Remote Sensing Imagery [8.3316355693186]
  本稿では,異なるHRSIsドメインとそれらの意味ラベル間の不変因果機構を探索するプロトタイプインスパイアされたコントラスト適応(CPCA)手法を提案する。 ソースとターゲットのドメインイメージから因果的特徴とバイアス的特徴を、因果的特徴のアンタングルメントモジュールを通じて切り離す。 さらに因果的・偏見的特徴を非相関化するために、因果的介入モジュールを導入してバイアス的特徴に介入し、反事実的非偏見的サンプルを生成する。
  論文  参考訳（メタデータ） (2024-03-06T13:39:18Z)
• Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation [51.10389829070684]
  ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
  論文  参考訳（メタデータ） (2022-11-27T02:40:33Z)
• Disentanglement of Correlated Factors via Hausdorff Factorized Support [53.23740352226391]
  本稿では,因子分布ではなく,因子化支援を助長する緩やかな解離基準,HFS(Hausdorff Factorized Support)基準を提案する。 本研究では,HFSを用いることにより,様々な相関設定やベンチマークにおいて,接地構造因子の絡み合いと回復が一貫して促進されることを示す。
  論文  参考訳（メタデータ） (2022-10-13T20:46:42Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Towards Fair Knowledge Transfer for Imbalanced Domain Adaptation [61.317911756566126]
  本研究では,不均衡なドメイン間学習における公平性問題に対処するTowards Fair Knowledge Transferフレームワークを提案する。 具体的には、新規なクロスドメインミックスアップ生成を利用して、ターゲット情報でマイノリティソースセットを増強し、公正性を高める。 本モデルでは,2つのベンチマークで全体の精度を20%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-23T06:29:09Z)
• Domain Adaptive Object Detection via Asymmetric Tri-way Faster-RCNN [15.976076198305414]
  対象ドメインがラベルに依存しない状態で、ソースドメインがラベルリッチであるドメイン間の格差を低減するために、教師なしドメイン適応オブジェクト検出を提案する。 主ネットと独立補助ネットからなる非対称構造は、本質的に、刺激されたソースリスク崩壊のパラメータを共有することを克服する。 提案したAFF検出器の適応が保証される。
  論文  参考訳（メタデータ） (2020-07-03T09:30:18Z)
• Contradictory Structure Learning for Semi-supervised Domain Adaptation [67.89665267469053]
  現在の逆順応法は、クロスドメインの特徴を整列させようとする。 1)条件分布ミスマッチ、2)決定境界のソース領域へのバイアス。 本稿では,対向構造の学習を統一することで,半教師付きドメイン適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-06T22:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。