論文の概要: Gradient Harmonization in Unsupervised Domain Adaptation

• arxiv url: http://arxiv.org/abs/2408.00288v1
• Date: Thu, 1 Aug 2024 05:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 21:45:24.438329
• Title: Gradient Harmonization in Unsupervised Domain Adaptation
• Title（参考訳）: 教師なし領域適応におけるグラディエント調和
• Authors: Fuxiang Huang, Suqi Song, Lei Zhang,
• Abstract要約: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識の転送を意図している。 本稿では,GH や GH++ など,グラディエント・ハーモニゼーション (Gradient Harmonization) と呼ばれる2つの効果的な解を提案する。 GHは、異なるタスク間の勾配角を斜めの角度から鋭角に変更することにより、衝突を解消し、2つのタスクを協調的にトレードオフする。
• 参考スコア（独自算出の注目度）: 7.966265020507201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised domain adaptation (UDA) intends to transfer knowledge from a labeled source domain to an unlabeled target domain. Many current methods focus on learning feature representations that are both discriminative for classification and invariant across domains by simultaneously optimizing domain alignment and classification tasks. However, these methods often overlook a crucial challenge: the inherent conflict between these two tasks during gradient-based optimization. In this paper, we delve into this issue and introduce two effective solutions known as Gradient Harmonization, including GH and GH++, to mitigate the conflict between domain alignment and classification tasks. GH operates by altering the gradient angle between different tasks from an obtuse angle to an acute angle, thus resolving the conflict and trade-offing the two tasks in a coordinated manner. Yet, this would cause both tasks to deviate from their original optimization directions. We thus further propose an improved version, GH++, which adjusts the gradient angle between tasks from an obtuse angle to a vertical angle. This not only eliminates the conflict but also minimizes deviation from the original gradient directions. Finally, for optimization convenience and efficiency, we evolve the gradient harmonization strategies into a dynamically weighted loss function using an integral operator on the harmonized gradient. Notably, GH/GH++ are orthogonal to UDA and can be seamlessly integrated into most existing UDA models. Theoretical insights and experimental analyses demonstrate that the proposed approaches not only enhance popular UDA baselines but also improve recent state-of-the-art models.
• Abstract（参考訳）: 教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベルなしターゲットドメインへの知識の転送を意図している。 現在の多くの手法は、ドメインアライメントと分類タスクを同時に最適化することにより、分類とドメイン間の不変性を区別できる特徴表現の学習に重点を置いている。 しかしながら、これらの手法は、勾配ベースの最適化において、これらの2つのタスク間の固有の衝突を、しばしば見落としている。 本稿では、この問題を掘り下げ、GHとGH++を含むグラディエント・ハーモニゼーション(Gradient Harmonization)と呼ばれる2つの効果的なソリューションを導入し、ドメインアライメントと分類タスクの衝突を軽減する。 GHは、異なるタスク間の勾配角を斜めの角度から鋭角に変更することにより、衝突を解消し、2つのタスクを協調的にトレードオフする。 しかし、これは両方のタスクが元の最適化方向から逸脱する原因となる。 そこで本研究では,タスク間の勾配角を斜めの角度から垂直の角度に調整する改良型GH++を提案する。 これは紛争を解消するだけでなく、元々の勾配方向からのずれを最小限にする。 最後に、最適化の利便性と効率性のために、高調波勾配上の積分演算子を用いて、勾配調和戦略を動的に重み付き損失関数に進化させる。 特に、GH/GH++はUDAと直交しており、既存のほとんどのUDAモデルにシームレスに統合できる。 理論的な洞察と実験的分析により、提案手法は一般的なUDAベースラインを向上するだけでなく、最近の最先端モデルも改善することが示された。

関連論文リスト

• Enhancing Domain Adaptation through Prompt Gradient Alignment [16.618313165111793]
  我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2024-06-13T17:40:15Z)
• Taxonomy Adaptive Cross-Domain Adaptation in Medical Imaging via Optimization Trajectory Distillation [73.83178465971552]
  自動医用画像解析の成功は、大規模かつ専門家による注釈付きトレーニングセットに依存する。 非教師なしドメイン適応(UDA)はラベル付きデータ収集の負担を軽減するための有望なアプローチである。 本稿では,2つの技術的課題に新しい視点から対処する統一的手法である最適化トラジェクトリ蒸留を提案する。
  論文  参考訳（メタデータ） (2023-07-27T08:58:05Z)
• Target and Task specific Source-Free Domain Adaptive Image Segmentation [73.78898054277538]
  ソースフリー領域適応画像分割のための2段階のアプローチを提案する。 我々は,高エントロピー領域を抑えつつ,ターゲット固有の擬似ラベルを生成することに注力する。 第2段階では、タスク固有の表現にネットワークを適用することに重点を置いている。
  論文  参考訳（メタデータ） (2022-03-29T17:50:22Z)
• Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning [8.591356221688773]
  微分品質多様性(DQD)アルゴリズムは、目標と測度に対して正確な勾配が利用できる場合、QD最適化を大幅に加速する。 我々はDQDアルゴリズムCMA-MEGAの2つの変種を開発し、それぞれ異なる勾配近似を持ち、それらを4つのシミュレーション歩行タスクで評価する。 1つの変種は、最先端のPGA-MAP-Elitesを2つのタスクで同等の性能(QDスコア)を達成する。もう1つの変種は、全てのタスクで比較可能だが、2つのタスクでPGA-MAP-Elitesよりも効率が低い。
  論文  参考訳（メタデータ） (2022-02-08T05:53:55Z)
• MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation [84.90801699807426]
  本稿ではMetaAlignと呼ばれるメタ最適化に基づく効果的な戦略を提案する。 ドメインアライメントの目的と分類の目的をメタ学習計画におけるメタトレーニングとメタテストのタスクとして扱う。 実験結果は,アライメントに基づくベースラインアプローチを用いた提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-03-25T03:16:05Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [86.02012896014095]
  本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。 障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。 Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-03-23T04:10:42Z)
• Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation [169.82760468633236]
  本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。 我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
  論文  参考訳（メタデータ） (2020-10-31T00:11:36Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [26.21464286134764]
  本研究では、ラベル付きソースドメインとラベルなしターゲットドメインのシーケンスをモデルに提示する連続的なドメイン適応の問題について検討する。 本研究では,これらの障害を解決するために,グラディエント正規化コントラスト学習を提案する。 本手法は,ラベル付きソースドメインとラベル付きターゲットドメインを併用することにより,意味的識別性とドメイン不変性の両方を共同で学習することができる。
  論文  参考訳（メタデータ） (2020-07-25T14:30:03Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。