論文の概要: A Closer Look at Smoothness in Domain Adversarial Training

• arxiv url: http://arxiv.org/abs/2206.08213v1
• Date: Thu, 16 Jun 2022 14:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 23:35:44.125090
• Title: A Closer Look at Smoothness in Domain Adversarial Training
• Title（参考訳）: ドメイン・アドバーサル・トレーニングにおける滑らかさについて
• Authors: Harsh Rangwani, Sumukh K Aithal, Mayank Mishra, Arihant Jain, R. Venkatesh Babu
• Abstract要約: 本研究は,スムーズネス向上の定式化がドメイン逆行訓練に及ぼす影響を解析する。 タスク損失(w.r.t.)に関してスムーズな最小値に収束すると、敵の訓練が安定し、目標領域の性能が向上する。 タスク損失とは対照的に,スムーズな最小値w.r.t.逆数損失への収束は,対象領域の準最適一般化につながることを示す。
• 参考スコア（独自算出の注目度）: 37.205372217498656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adversarial training has been ubiquitous for achieving invariant representations and is used widely for various domain adaptation tasks. In recent times, methods converging to smooth optima have shown improved generalization for supervised learning tasks like classification. In this work, we analyze the effect of smoothness enhancing formulations on domain adversarial training, the objective of which is a combination of task loss (eg. classification, regression, etc.) and adversarial terms. We find that converging to a smooth minima with respect to (w.r.t.) task loss stabilizes the adversarial training leading to better performance on target domain. In contrast to task loss, our analysis shows that converging to smooth minima w.r.t. adversarial loss leads to sub-optimal generalization on the target domain. Based on the analysis, we introduce the Smooth Domain Adversarial Training (SDAT) procedure, which effectively enhances the performance of existing domain adversarial methods for both classification and object detection tasks. Our analysis also provides insight into the extensive usage of SGD over Adam in the community for domain adversarial training.
• Abstract（参考訳）: ドメイン逆行訓練は不変表現を達成するためにユビキタスであり、様々なドメイン適応タスクに広く使われている。 近年,スムースオプティマへの収束法では,分類などの教師あり学習タスクの一般化が改善されている。 本研究は,課題損失(分類,回帰など)と敵語の組み合わせであるドメイン・アドバーサル・トレーニングにおける平滑性強化の効果を分析した。 タスク損失(w.r.t.)に関してスムーズな最小値に収束すると、敵の訓練が安定し、目標領域の性能が向上する。 タスク損失とは対照的に,スムーズな最小値w.r.t.逆数損失への収束は,対象領域の準最適一般化につながることを示す。 そこで本研究では,Smooth Domain Adversarial Training (SDAT) 手法を導入する。 また、我々の分析は、AdamよりSGDを広範囲に活用して、ドメインの敵対的訓練を行うための知見も提供する。

関連論文リスト

• Improve Cross-domain Mixed Sampling with Guidance Training for Adaptive Segmentation [9.875170018805768]
  教師なしのドメイン適応(UDA)は、ソースドメインでトレーニングされたモデルを調整し、追加のアノテーションを必要とせずにターゲットドメインでうまく機能させる。 本稿では,指導訓練という新しい補助課題を提案する。 本課題は,実世界の分散シフトを緩和しつつ,クロスドメイン混合サンプリング手法の有効利用を促進する。 既存の手法と統合し、継続的に性能を向上することで、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-22T07:12:48Z)
• AIR-DA: Adversarial Image Reconstruction for Unsupervised Domain Adaptive Object Detection [28.22783703278792]
  特徴抽出器の対角訓練を容易にするための正則化器としての適応画像再構成(AIR) ドメインシフトに挑戦するいくつかのデータセットにまたがって評価を行った結果,提案手法が従来の手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-03-27T16:51:51Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Domain Adversarial Training: A Game Perspective [80.3821370633883]
  本稿では,ゲーム理論の観点から,ドメイン・アドバイザ・トレーニングにおける最適解を定義する。 ドメイン・アドバイザリ・トレーニングにおける降下は、グラデーションの収束保証に違反し、しばしば転送性能を損なう可能性があることを示す。 実装は簡単で、追加のパラメータが不要で、あらゆるドメイン・アドバイザリ・フレームワークにプラグインすることができます。
  論文  参考訳（メタデータ） (2022-02-10T22:17:30Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)
• MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation [84.90801699807426]
  本稿ではMetaAlignと呼ばれるメタ最適化に基づく効果的な戦略を提案する。 ドメインアライメントの目的と分類の目的をメタ学習計画におけるメタトレーニングとメタテストのタスクとして扱う。 実験結果は,アライメントに基づくベースラインアプローチを用いた提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-03-25T03:16:05Z)
• Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss [25.798361683744684]
  ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。 提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
  論文  参考訳（メタデータ） (2021-03-10T07:06:03Z)
• Unsupervised Domain Adaptive Object Detection using Forward-Backward Cyclic Adaptation [13.163271874039191]
  本稿では,フォワード・バック・サイクリック(FBC)トレーニングによる物体検出のための教師なし領域適応手法を提案する。 近年, 対角訓練に基づく領域適応法は, 限界特徴分布アライメントによる領域差最小化に有効であることが示された。 本稿では,後方ホッピングによるソースからターゲットへの適応と,前方通過によるターゲットからソースへの適応を反復的に計算するフォワード・バック・サイクル適応を提案する。
  論文  参考訳（メタデータ） (2020-02-03T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。