論文の概要: Revisiting Cross-Attention Mechanisms: Leveraging Beneficial Noise for Domain-Adaptive Learning

• arxiv url: http://arxiv.org/abs/2603.17474v1
• Date: Wed, 18 Mar 2026 08:28:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.580779
• Title: Revisiting Cross-Attention Mechanisms: Leveraging Beneficial Noise for Domain-Adaptive Learning
• Title（参考訳）: クロスアテンションメカニズムの再考:ドメイン適応学習における便益的ノイズの活用
• Authors: Zelin Zang, Yehui Yang, Fei Wang, Liangyu Li, Baigui Sun,
• Abstract要約: Unsupervised Domain Adaptation (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識の転送を試みる。 既存のクロスアテンションベースのトランスフォーマーは、ドメイン間で機能を整列させることができるが、大きな外観とスケールのバリエーションの下でコンテンツセマンティクスを保存するのに苦労している。 本稿では、制御された摂動を注入することで、相互注意を規則化する有益雑音の概念を導入する。
• 参考スコア（独自算出の注目度）: 19.18410733239502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised Domain Adaptation (UDA) seeks to transfer knowledge from a labeled source domain to an unlabeled target domain but often suffers from severe domain and scale gaps that degrade performance. Existing cross-attention-based transformers can align features across domains, yet they struggle to preserve content semantics under large appearance and scale variations. To explicitly address these challenges, we introduce the concept of beneficial noise, which regularizes cross-attention by injecting controlled perturbations, encouraging the model to ignore style distractions and focus on content. We propose the Domain-Adaptive Cross-Scale Matching (DACSM) framework, which consists of a Domain-Adaptive Transformer (DAT) for disentangling domain-shared content from domain-specific style, and a Cross-Scale Matching (CSM) module that adaptively aligns features across multiple resolutions. DAT incorporates beneficial noise into cross-attention, enabling progressive domain translation with enhanced robustness, yielding content-consistent and style-invariant representations. Meanwhile, CSM ensures semantic consistency under scale changes. Extensive experiments on VisDA-2017, Office-Home, and DomainNet demonstrate that DACSM achieves state-of-the-art performance, with up to +2.3% improvement over CDTrans on VisDA-2017. Notably, DACSM achieves a +5.9% gain on the challenging "truck" class of VisDA, evidencing the strength of beneficial noise in handling scale discrepancies. These results highlight the effectiveness of combining domain translation, beneficial-noise-enhanced attention, and scale-aware alignment for robust cross-domain representation learning.
• Abstract（参考訳）: 教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、ラベル付きソースドメインからラベルなしターゲットドメインに知識を転送しようとするが、しばしばパフォーマンスを低下させる厳しいドメインとスケールギャップに悩まされる。 既存のクロスアテンションベースのトランスフォーマーは、ドメイン間で機能を整列させることができるが、大きな外観とスケールのバリエーションの下でコンテンツセマンティクスを保存するのに苦労している。 これらの課題に明確に対処するために、我々は、制御された摂動を注入することで、相互注意を規則化し、スタイルの邪魔を無視し、コンテンツに集中するようにモデルに促す、有益ノイズの概念を導入する。 ドメイン固有のスタイルからドメイン共有コンテンツを切り離すためのドメイン適応型変換器(DAT)と、複数の解像度で機能を適応的に整列するクロススケールマッチング(CSM)モジュールからなる、ドメイン適応型クロススケールマッチング(DACSM)フレームワークを提案する。 DATは有益ノイズをクロスアテンションに取り入れ、拡張された堅牢性を持つプログレッシブドメイン翻訳を可能にし、コンテンツ一貫性とスタイル不変表現をもたらす。 一方、CSMはスケール変更時のセマンティック一貫性を保証する。 VisDA-2017、Office-Home、DomainNetの大規模な実験は、DACSMが最先端のパフォーマンスを達成し、VisDA-2017上のCDTransよりも最大で2.3%改善していることを示している。 特に、DACSMはVisDAの挑戦的な「トラック」クラスで+5.9%上昇し、スケールの相違に対処する上で有益なノイズの強さを証明している。 これらの結果は、堅牢なクロスドメイン表現学習のためのドメイン翻訳、有益ノイズ強調、スケールアライメントの併用の有効性を強調した。

関連論文リスト

• PCaM: A Progressive Focus Attention-Based Information Fusion Method for Improving Vision Transformer Domain Adaptation [18.973817257766793]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では,PCaM(Progressive Focus Cross-Attention Mechanism)を提案する。 PCaMは、クロスアテンション中の背景情報を段階的にフィルタリングし、モデルがドメイン間の差別的前景意味論に集中し、融合できるようにする。
  論文  参考訳（メタデータ） (2025-05-27T09:48:29Z)
• DA-Mamba: Domain Adaptive Hybrid Mamba-Transformer Based One-Stage Object Detection [0.3683202928838613]
  ドメイン適応型マンバ型一段階物体検出モデルDA-マンバについて述べる。 Mambaアーキテクチャのグローバルなモデリングと線形複雑性にインスパイアされ、最初のドメイン適応型Mambaベースのワンステージオブジェクト検出モデルであるDA-Mambaを提示する。
  論文  参考訳（メタデータ） (2025-02-16T15:58:54Z)
• Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation [4.850207292777464]
  ドメイン一般化セマンティック(Domain Generalized Semantic)は、未知のターゲットドメイン間のセマンティックセグメンテーションの一般化を強化することを目的としている。 本稿では,セマンティック一貫性予測とスタイル多様性の一般化のためのSCSDを紹介する。 SCSDは既存の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-12-16T18:20:06Z)
• Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation [44.501770535446624]
  汎視的ドメイン適応の鍵となる課題は、ラベル付きソースとラベルなしターゲットドメインの間のドメインギャップを減らすことである。 我々は、新しいクロスドメイン混合戦略IMixによるインスタンスレベル適応の導入に重点を置いている。 LIDAPSと呼ばれる2つのメカニズムを組み込んだエンド・ツー・エンド・エンド・モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T20:42:49Z)
• Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation [51.10389829070684]
  ドメインギャップは、自己注意の相違を引き起こす可能性がある。 このギャップのため、変圧器は、ターゲット領域の精度を低下させる刺激領域または画素に付随する。 ドメイン横断の注意層を持つアテンションマップに適応する。
  論文  参考訳（メタデータ） (2022-11-27T02:40:33Z)
• Unsupervised Domain Adaptation via Style-Aware Self-intermediate Domain [52.783709712318405]
  非教師なしドメイン適応(UDA)は、ラベル豊富なソースドメインから関連するがラベルのないターゲットドメインに知識を伝達する、かなりの注目を集めている。 本研究では,大規模なドメインギャップと伝達知識を橋渡しし,クラス非ネイティブ情報の損失を軽減するために,SAFF(style-aware feature fusion)法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T10:06:03Z)
• Safe Self-Refinement for Transformer-based Domain Adaptation [73.8480218879]
  Unsupervised Domain Adaptation (UDA)は、ラベル豊富なソースドメインを活用して、関連するラベルのないターゲットドメイン上のタスクを解決することを目的としている。 特にソースとターゲットドメインの間に大きなドメインギャップがある場合、これは難しい問題です。 SSRT (Safe Self-Refinement for Transformer-based domain adaptation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-04-16T00:15:46Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。