論文の概要: DUDA: Distilled Unsupervised Domain Adaptation for Lightweight Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2504.09814v1
• Date: Mon, 14 Apr 2025 02:30:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:51:50.633342
• Title: DUDA: Distilled Unsupervised Domain Adaptation for Lightweight Semantic Segmentation
• Title（参考訳）: DUDA:軽量セマンティックセマンティックセグメンテーションのための蒸留非教師なしドメイン適応
• Authors: Beomseok Kang, Niluthpol Chowdhury Mithun, Abhinav Rajvanshi, Han-Pang Chiu, Supun Samarasekera,
• Abstract要約: 教師なしドメイン適応(UDA)は、コストのかかるピクセル単位のアノテーションを必要とせずに、新しいドメインのセマンティックセグメンテーションを可能にするために不可欠である。 本研究では,EMAをベースとした自己学習と知識蒸留を組み合わせた新しいフレームワークであるDistilled Unsupervised Domain Adaptation (DUDA)を提案する。 本手法では,EMAベースの更新のための重み付けモデルと軽量モデルのアーキテクチャギャップを埋めるために,補助的な学生ネットワークを用いる。
• 参考スコア（独自算出の注目度）: 9.568820012635355
• License:
• Abstract: Unsupervised Domain Adaptation (UDA) is essential for enabling semantic segmentation in new domains without requiring costly pixel-wise annotations. State-of-the-art (SOTA) UDA methods primarily use self-training with architecturally identical teacher and student networks, relying on Exponential Moving Average (EMA) updates. However, these approaches face substantial performance degradation with lightweight models due to inherent architectural inflexibility leading to low-quality pseudo-labels. To address this, we propose Distilled Unsupervised Domain Adaptation (DUDA), a novel framework that combines EMA-based self-training with knowledge distillation (KD). Our method employs an auxiliary student network to bridge the architectural gap between heavyweight and lightweight models for EMA-based updates, resulting in improved pseudo-label quality. DUDA employs a strategic fusion of UDA and KD, incorporating innovative elements such as gradual distillation from large to small networks, inconsistency loss prioritizing poorly adapted classes, and learning with multiple teachers. Extensive experiments across four UDA benchmarks demonstrate DUDA's superiority in achieving SOTA performance with lightweight models, often surpassing the performance of heavyweight models from other approaches.
• Abstract（参考訳）: 教師なしドメイン適応(UDA)は、コストのかかるピクセル単位のアノテーションを必要とせずに、新しいドメインのセマンティックセグメンテーションを可能にするために不可欠である。 State-of-the-art (SOTA) UDAメソッドは主に、EMA(Exponential moving Average)の更新に頼って、アーキテクチャ的に同一の教師と学生ネットワークによる自己学習を使用する。 しかし、これらのアプローチは、低品質の擬似ラベルにつながる固有のアーキテクチャの柔軟性のために、軽量モデルによる大幅な性能劣化に直面している。 そこで我々は,EMAに基づく自己学習と知識蒸留(KD)を組み合わせた新しいフレームワークであるDistilled Unsupervised Domain Adaptation (DUDA)を提案する。 提案手法では,EMAベースの更新のための重み付けモデルと軽量モデルのアーキテクチャギャップを埋めるために,補助的な学生ネットワークを用いて,擬似ラベル品質を向上する。 DUDAはUDAとKDの戦略的融合を採用し、大規模から小規模のネットワークからの漸進的な蒸留、不整合性の喪失、不適応なクラスへの優先順位付け、複数の教師との学習といった革新的な要素を取り入れている。 4つのUDAベンチマークにわたる大規模な実験は、DUDAがSOTAの性能を軽量モデルで達成し、しばしば他のアプローチによる重み付けモデルの性能を上回っていることを示す。

関連論文リスト

• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Instance-aware Model Ensemble With Distillation For Unsupervised Domain Adaptation [28.79286984013436]
  本稿では,新しいフレームワーク,すなわち IMED を用いたモデルアンサンブルを提案する。 IMEDは複数のUDAコンポーネントモデルを異なるインスタンスに応じて適応的に融合し、これらのコンポーネントを小さなモデルに蒸留する。 本稿では, IMEDに基づくモデルと, 同等の計算コスト下での最先端技術について述べる。
  論文  参考訳（メタデータ） (2022-11-15T12:53:23Z)
• Exploring Adversarially Robust Training for Unsupervised Domain Adaptation [71.94264837503135]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 本稿では、UDAのドメイン不変性を学習しながら、ATを介してラベルなしデータのロバスト性を高める方法について検討する。 本稿では,ARTUDA と呼ばれる UDA の適応的ロバストトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-18T17:05:19Z)
• Revisiting Deep Subspace Alignment for Unsupervised Domain Adaptation [42.16718847243166]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識の転送と適応を目的としている。 伝統的に、部分空間に基づく手法はこの問題に対する重要な解のクラスを形成する。 本稿では,UDAにおける部分空間アライメントの利用を再検討し,一貫した一般化をもたらす新しい適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-05T20:16:38Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation [99.88539409432916]
  教師なしドメイン適応(UDA)プロセスについて検討する。 ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。 DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-29T19:00:46Z)
• Adversarial Robustness for Unsupervised Domain Adaptation [48.51898925429575]
  本研究では、複数の堅牢なImageNetモデルから学習した中間表現を活用し、UDAモデルの堅牢性を改善する。 提案手法は,UCAモデルの特徴と,ImageNet事前学習モデルで学習した頑健な特徴とを,ドメイン適応トレーニングとともに整合させることによって機能する。
  論文  参考訳（メタデータ） (2021-09-02T13:45:01Z)
• A New Bidirectional Unsupervised Domain Adaptation Segmentation Framework [27.13101555533594]
  異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。 本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-18T05:25:11Z)
• Class-Incremental Domain Adaptation [56.72064953133832]
  私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。 既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。 提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-08-04T07:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。