論文の概要: Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks
- arxiv url: http://arxiv.org/abs/2407.01327v1
- Date: Mon, 1 Jul 2024 14:34:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 21:10:33.569096
- Title: Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks
- Title（参考訳）: ディエンス予測視覚課題における教師なしドメイン適応のための勾配に基づくクラス重み付け
- Authors: Roberto Alcover-Couso, Marcos Escudero-Viñolo, Juan C. SanMiguel, Jesus Bescós,
- Abstract要約: 本稿では,クラスウェイトをUDA学習損失に組み込んだクラスバランス緩和戦略を提案する。
損失勾配を通してこれらの重みを動的に推定する斬新さは、グラディエントに基づくクラス重み付け(GBW)学習を定義する。
GBWは、大きな表現されたクラスによって学習が妨げられるクラスの貢献を自然に増大させる。
- 参考スコア（独自算出の注目度）: 3.776249047528669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In unsupervised domain adaptation (UDA), where models are trained on source data (e.g., synthetic) and adapted to target data (e.g., real-world) without target annotations, addressing the challenge of significant class imbalance remains an open issue. Despite considerable progress in bridging the domain gap, existing methods often experience performance degradation when confronted with highly imbalanced dense prediction visual tasks like semantic and panoptic segmentation. This discrepancy becomes especially pronounced due to the lack of equivalent priors between the source and target domains, turning class imbalanced techniques used for other areas (e.g., image classification) ineffective in UDA scenarios. This paper proposes a class-imbalance mitigation strategy that incorporates class-weights into the UDA learning losses, but with the novelty of estimating these weights dynamically through the loss gradient, defining a Gradient-based class weighting (GBW) learning. GBW naturally increases the contribution of classes whose learning is hindered by large-represented classes, and has the advantage of being able to automatically and quickly adapt to the iteration training outcomes, avoiding explicitly curricular learning patterns common in loss-weighing strategies. Extensive experimentation validates the effectiveness of GBW across architectures (convolutional and transformer), UDA strategies (adversarial, self-training and entropy minimization), tasks (semantic and panoptic segmentation), and datasets (GTA and Synthia). Analysing the source of advantage, GBW consistently increases the recall of low represented classes.
- Abstract（参考訳）: 教師なしドメイン適応(UDA)では、モデルはソースデータ(例えば、合成)に基づいて訓練され、ターゲットアノテーションなしでターゲットデータ(例えば、現実世界)に適応する。
ドメインギャップを埋める大きな進歩にもかかわらず、既存のメソッドは、セマンティックやパノプティクスのセグメンテーションのような、高度に不均衡なビジュアルタスクに直面した時に、パフォーマンス劣化を経験することが多い。
この相違は、ソースドメインとターゲットドメインの間に等価な事前性がないために特に顕著になり、UDAシナリオでは他の領域(例えば、画像分類)で使用されるクラス不均衡技術が有効ではないためである。
本稿では,クラスウェイトを UDA 学習損失に組み込むクラスバランス緩和戦略を提案するが,損失勾配を通じてこれらの重みを動的に推定し,グラディエント・ベース・クラス重み付け(GBW)学習を定義する新しい方法を提案する。
GBWは、大きな表現されたクラスによって学習が妨げられているクラスの貢献を自然に増加させ、繰り返しトレーニングの結果に自動的かつ迅速に適応できるという利点を持つ。
大規模な実験は、アーキテクチャ(畳み込みとトランスフォーマー)、UDA戦略(逆、自己学習とエントロピーの最小化)、タスク(セマンティックとパンプトのセグメンテーション)、データセット(GTAとSynthia)にまたがるGBWの有効性を検証する。
利点の源を分析すると、GBWは一貫して低表現のクラスをリコールする。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。
我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
論文 参考訳（メタデータ） (2022-08-26T19:50:46Z) - A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。
この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。
GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
論文 参考訳（メタデータ） (2022-07-01T12:54:38Z) - Revisiting Deep Subspace Alignment for Unsupervised Domain Adaptation [42.16718847243166]
Unsupervised domain adapt (UDA) は、ラベル付きソースドメインからラベル付きターゲットドメインへの知識の転送と適応を目的としている。
伝統的に、部分空間に基づく手法はこの問題に対する重要な解のクラスを形成する。
本稿では,UDAにおける部分空間アライメントの利用を再検討し,一貫した一般化をもたらす新しい適応アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-01-05T20:16:38Z) - Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and
Curriculum Learning [19.903568227077763]
教師なしドメイン適応(UDA)は、完全にラベル付けされたソースドメインからのデータを活用することにより、ラベル付けされていないターゲットドメインの分類性能を向上させる。
ソフトな擬似ラベル戦略を用いてモデル予測の欠陥を大幅に低減するモデルに依存しない2段階学習フレームワークを提案する。
第2段階では,2つのドメインの損失間の重み付けを適応的に制御するカリキュラム学習戦略を提案する。
論文 参考訳（メタデータ） (2021-12-03T14:47:32Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - Gradient Regularized Contrastive Learning for Continual Domain
Adaptation [86.02012896014095]
本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。
障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。
Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
論文 参考訳（メタデータ） (2021-03-23T04:10:42Z) - Learning a Domain-Agnostic Visual Representation for Autonomous Driving
via Contrastive Loss [25.798361683744684]
ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。
提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
論文 参考訳（メタデータ） (2021-03-10T07:06:03Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic
Segmentation [63.75774438196315]
Unsupervised Domain adapt (UDA) は、未ラベルのデータのみを持つ新しいターゲットドメインにソースドメインの既存のモデルを適用することを目的としている。
既存のほとんどの手法は、エラーを起こしやすい識別器ネットワークまたは不合理な教師モデルから生じる顕著な負の伝達に悩まされている。
ドメイン間セマンティックセグメンテーションのための不確実性を考慮した整合性正規化手法を提案する。
論文 参考訳（メタデータ） (2020-04-19T15:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。