論文の概要: Semantic-aware Message Broadcasting for Efficient Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2212.02739v1
• Date: Tue, 6 Dec 2022 04:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 15:37:06.269379
• Title: Semantic-aware Message Broadcasting for Efficient Unsupervised Domain Adaptation
• Title（参考訳）: 非教師なしドメイン適応のための意味認識型メッセージブロードキャスト
• Authors: Xin Li, Cuiling Lan, Guoqiang Wei, Zhibo Chen
• Abstract要約: 教師なしドメイン適応(UDA)のための,より情報的かつ柔軟な特徴アライメントを可能にする,セマンティック・アウェア・メッセージ・ブロードキャスト(SAMB)を提案する。 学習したグループトークンのグループをノードとして導入し、すべての画像トークンからグローバル情報を集約する。 このようにして、メッセージブロードキャストはグループトークンに対して、効果的なドメインアライメントのためのより情報的で多様な情報を学ぶことを奨励します。
• 参考スコア（独自算出の注目度）: 40.939984198850496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformer has demonstrated great potential in abundant vision tasks. However, it also inevitably suffers from poor generalization capability when the distribution shift occurs in testing (i.e., out-of-distribution data). To mitigate this issue, we propose a novel method, Semantic-aware Message Broadcasting (SAMB), which enables more informative and flexible feature alignment for unsupervised domain adaptation (UDA). Particularly, we study the attention module in the vision transformer and notice that the alignment space using one global class token lacks enough flexibility, where it interacts information with all image tokens in the same manner but ignores the rich semantics of different regions. In this paper, we aim to improve the richness of the alignment features by enabling semantic-aware adaptive message broadcasting. Particularly, we introduce a group of learned group tokens as nodes to aggregate the global information from all image tokens, but encourage different group tokens to adaptively focus on the message broadcasting to different semantic regions. In this way, our message broadcasting encourages the group tokens to learn more informative and diverse information for effective domain alignment. Moreover, we systematically study the effects of adversarial-based feature alignment (ADA) and pseudo-label based self-training (PST) on UDA. We find that one simple two-stage training strategy with the cooperation of ADA and PST can further improve the adaptation capability of the vision transformer. Extensive experiments on DomainNet, OfficeHome, and VisDA-2017 demonstrate the effectiveness of our methods for UDA.
• Abstract（参考訳）: ビジョントランスは、豊富なビジョンタスクにおいて大きな可能性を示した。 しかし、テスト中に分布シフトが発生した場合(すなわち、分配外データ)、必然的に一般化能力の低下に苦しむ。 この問題を軽減するために,非教師付きドメイン適応(UDA)のためのより情報的で柔軟な特徴アライメントを実現する,セマンティック・アウェア・メッセージ・ブロードキャスティング(SAMB)を提案する。 特に、視覚変換器の注目モジュールについて検討し、一つのグローバルクラストークンを用いたアライメント空間には十分な柔軟性がないことに気付き、同じ方法で全ての画像トークンと情報をやり取りするが、異なる領域のリッチなセマンティクスを無視する。 本稿では,semantic-aware adaptive message broadcastingの実現により,アライメント機能の豊かさを向上させることを目的とする。 特に,すべての画像トークンからグローバル情報を集約するノードとして学習されたグループトークンのグループを導入するが,異なるグループトークンは異なる意味領域へのメッセージブロードキャストに適応的に集中するよう推奨する。 このように、メッセージブロードキャストはグループトークンに対して、効果的なドメインアライメントのためのより情報的で多様な情報を学ぶことを奨励します。 さらに,敵対的特徴アライメント(ADA)と擬似ラベルに基づく自己学習(PST)がUDAに与える影響を系統的に検討した。 ADAとPSTの協力による2段階の簡単なトレーニング戦略により、視覚変換器の適応性をさらに向上できることがわかった。 DomainNet、OfficeHome、VisDA-2017に関する大規模な実験は、UDAの手法の有効性を実証している。

関連論文リスト

• PiPa++: Towards Unification of Domain Adaptive Semantic Segmentation via Self-supervised Learning [34.786268652516355]
  教師なしドメイン適応セグメンテーションは、それらのドメインのラベル付きデータに頼ることなく、ターゲットドメイン上のモデルのセグメンテーション精度を向上させることを目的としている。 ソースドメイン(ラベル付きデータが利用可能な場所)とターゲットドメイン(ラベルなしデータのみが存在する場所)の特徴表現の整合を図る。
  論文  参考訳（メタデータ） (2024-07-24T08:53:29Z)
• Tell, Don't Show!: Language Guidance Eases Transfer Across Domains in Images and Videos [69.29778009769862]
  ラベル付きソースから未ラベルのターゲットデータへの識別的知識の堅牢な転送をドメインギャップでガイドするフレームワークであるLaGTranを紹介する。 意味的にリッチなテキストモダリティがより好ましい転送特性を持つという我々の観察に触発された我々は、ソース学習されたテキスト分類器を用いて、ターゲットテキスト記述の予測を生成するための転送機構を考案した。 言語指導による私たちのアプローチは驚くほど簡単でシンプルですが、GeoNetやDomainNetといった挑戦的なデータセットに対する以前のアプローチよりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-03-08T18:58:46Z)
• Universal Domain Adaptation for Robust Handling of Distributional Shifts in NLP [25.4952909342458]
  Universal Domain Adaptation (UniDA)はコンピュータビジョンの新しい研究領域として登場した。 本稿では,モデルの一般化可能性と堅牢性について,より詳細な視点を提供する自然言語のベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:15:25Z)
• Prompt Ensemble Self-training for Open-Vocabulary Domain Adaptation [45.02052030837188]
  我々は、新しい教師なしドメイン適応フレームワークであるオープン語彙ドメイン適応(OVDA)について研究する。 視覚と言語間の相乗効果を利用したPEST(Prompt Ensemble Self-Trening)技術の設計を行う。 PESTは、10の画像認識タスクで最先端のタスクを一貫して上回る。
  論文  参考訳（メタデータ） (2023-06-29T03:39:35Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Audio-Adaptive Activity Recognition Across Video Domains [112.46638682143065]
  ドメイン間のばらつきが少なく、どのアクティビティが起こっていないかを確実に示すことができるので、ドメイン適応のためにアクティビティサウンドを活用します。 視覚特徴表現を識別的に調整するオーディオ適応型エンコーダと学習方法を提案する。 また、アクターシフトという新たなタスクを対応するオーディオ・ビジュアル・データセットで導入し、アクターの出現が劇的に変化する状況において、我々の手法に挑戦する。
  論文  参考訳（メタデータ） (2022-03-27T08:15:20Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation [97.8552697905657]
  このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。 本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。 GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
  論文  参考訳（メタデータ） (2020-04-02T03:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。