論文の概要: Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2211.14703v2
• Date: Tue, 29 Nov 2022 01:55:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 12:17:49.145969
• Title: Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation
• Title（参考訳）: ドメイン適応意味セグメンテーションのためのクロスドメイントランスフォーマの一貫性の探求
• Authors: Kaihong Wang and Donghyun Kim and Rogerio Feris and Kate Saenko and Margrit Betke
• Abstract要約: ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
• 参考スコア（独自算出の注目度）: 51.10389829070684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While transformers have greatly boosted performance in semantic segmentation, domain adaptive transformers are not yet well explored. We identify that the domain gap can cause discrepancies in self-attention. Due to this gap, the transformer attends to spurious regions or pixels, which deteriorates accuracy on the target domain. We propose to perform adaptation on attention maps with cross-domain attention layers that share features between the source and the target domains. Specifically, we impose consistency between predictions from cross-domain attention and self-attention modules to encourage similar distribution in the attention and output of the model across domains, i.e., attention-level and output-level alignment. We also enforce consistency in attention maps between different augmented views to further strengthen the attention-based alignment. Combining these two components, our method mitigates the discrepancy in attention maps across domains and further boosts the performance of the transformer under unsupervised domain adaptation settings. Our model outperforms the existing state-of-the-art baseline model on three widely used benchmarks, including GTAV-to-Cityscapes by 1.3 percent point (pp), Synthia-to-Cityscapes by 0.6 pp, and Cityscapes-to-ACDC by 1.1 pp, on average. Additionally, we verify the effectiveness and generalizability of our method through extensive experiments. Our code will be publicly available.
• Abstract（参考訳）: セマンティックセグメンテーションにおけるトランスフォーマーの性能は大幅に向上しているが、ドメイン適応トランスフォーマーはまだ十分に研究されていない。 ドメインギャップが自己注意の相違を引き起こす可能性があることを確認します。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 対象領域とソース領域間で特徴を共有するクロスドメインアテンション層を用いてアテンションマップに適応する手法を提案する。 具体的には、クロスドメインアテンションと自己アテンションモジュールからの予測の一貫性を課し、アテンションレベルとアウトプットレベルのアライメントといったドメイン間のモデルのアテンションとアウトプットにおける同様の分散を促進する。 また,異なるアテンションビュー間のアテンションマップの一貫性を強制し,アテンションに基づくアライメントをさらに強化する。 これら2つのコンポーネントを組み合わせることで、ドメイン間の注意マップの相違を緩和し、教師なしドメイン適応設定下での変換器の性能をさらに向上する。 gtav-to-cityscapes by 1.3% point (pp) , synthia-to-cityscapes by 0.6 pp, cityscapes-to-acdc by 1.1 pp である。 また,本手法の有効性と一般化性を広範囲な実験により検証した。 私たちのコードは公開されます。

関連論文リスト

• Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation [3.0081059328558624]
  ドメイン適応のためのきめ細かい教師なしのフレームワークの導入に注力する。 本稿では,ベクトルを用いて生成元を制御し,与えられた特徴を持つ偽画像を合成する手法を提案する。 そして、特徴辞書を検索することで、データセットに様々な拡張を適用することができる。
  論文  参考訳（メタデータ） (2023-11-25T18:08:59Z)
• PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain Adaptative Semantic Segmentation [100.6343963798169]
  教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、学習モデルの他のドメインへの一般化を強化することを目的としている。 そこで我々は,ドメイン適応型セマンティックセマンティックセグメンテーションのための,PiPaという,画素・パッチ対応の自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:31:24Z)
• Domain Adaptation for Object Detection using SE Adaptors and Center Loss [0.0]
  本稿では,高速RCNNに基づく教師なしドメイン適応手法を導入し,ドメインシフトによる性能低下を防止する。 また、SEアダプタと呼ばれる圧縮励起機構を利用して、ドメインの注意を向上するアダプティブレイヤのファミリーも導入する。 最後に、インスタンスと画像レベルの表現に中心損失を組み込んで、クラス内分散を改善する。
  論文  参考訳（メタデータ） (2022-05-25T17:18:31Z)
• Cross-Domain Object Detection with Mean-Teacher Transformer [43.486392965014105]
  平均教師知識伝達(MTKT)に基づくエンドツーエンドのクロスドメイン検出変換器を提案する。 本稿では,ドメインクエリベースの特徴アライメント (DQFA) やバイレベルグラフベースのプロトタイプアライメント (BGPA) ,トークンワイド画像特徴アライメント (TIFA) など,トランスフォーマーのアーキテクチャに基づく3つのレベルの特徴アライメント戦略を設計する。 特にSim10kからCityscapesのシナリオは52.6mAPから57.9mAPに大幅に改善されている。
  論文  参考訳（メタデータ） (2022-05-03T17:11:55Z)
• Towards Unsupervised Domain Adaptation via Domain-Transformer [0.0]
  教師なしドメイン適応(UDA)のためのドメイン変換器(DoT)を提案する。 DoTは新しい視点から、CNNバックボーンとTransformerのコアアテンションメカニズムを統合する。 ドメイン間の局所的な意味的一貫性を実現し、そこではドメインレベルの注意と多様体の正規化が探索される。
  論文  参考訳（メタデータ） (2022-02-24T02:30:15Z)
• Domain Adaptive Semantic Segmentation with Regional Contrastive Consistency Regularization [19.279884432843822]
  本稿では,領域適応型セマンティックセマンティックセグメンテーションのための局所コントラスト整合正規化(RCCR)と呼ばれる,新しいエンドツーエンドのトレーニング可能なアプローチを提案する。 私たちの中核となる考え方は、異なる画像の同じ位置から抽出された類似の地域的特徴を取り除き、その一方、2つの画像の異なる位置から特徴を分離することです。
  論文  参考訳（メタデータ） (2021-10-11T11:45:00Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• PIT: Position-Invariant Transform for Cross-FoV Domain Adaptation [53.428312630479816]
  フィールド・オブ・ビュー(FoV)ギャップは、ソースとターゲットドメイン間の顕著なインスタンスの出現差を誘導する。 本研究では,異なる領域における画像の整合性を改善するために,textbfPosition-Invariant Transform (PIT)を提案する。
  論文  参考訳（メタデータ） (2021-08-16T15:16:47Z)
• Channel-wise Alignment for Adaptive Object Detection [66.76486843397267]
  遺伝的物体検出は、ディープ畳み込みニューラルネットワークの開発によって大いに促進されている。 このタスクの既存の方法は、通常、画像全体や関心の対象に基づいて、ハイレベルなアライメントに注意を向ける。 本稿では,チャネルワイドアライメント(チャネルワイドアライメント)という,まったく異なる観点からの適応を実現する。
  論文  参考訳（メタデータ） (2020-09-07T02:42:18Z)
• Bi-Directional Generation for Unsupervised Domain Adaptation [61.73001005378002]
  教師なしのドメイン適応は、確立されたソースドメイン情報に依存するラベルなしのターゲットドメインを促進する。 従来の手法では、潜在空間におけるドメインの不一致を強制的に低減することで、本質的なデータ構造が破壊される。 本稿では、2つの中間領域をブリッジソースとターゲットドメインに補間する一貫した分類器を用いた双方向生成ドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-12T09:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。