論文の概要: Domain Adversarial Training: A Game Perspective

• arxiv url: http://arxiv.org/abs/2202.05352v1
• Date: Thu, 10 Feb 2022 22:17:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 15:20:23.738129
• Title: Domain Adversarial Training: A Game Perspective
• Title（参考訳）: ドメイン・アドバイザリ・トレーニング:ゲーム・パースペクティブ
• Authors: David Acuna, Marc T Law, Guojun Zhang, Sanja Fidler
• Abstract要約: 本稿では,ゲーム理論の観点から,ドメイン・アドバイザ・トレーニングにおける最適解を定義する。 ドメイン・アドバイザリ・トレーニングにおける降下は、グラデーションの収束保証に違反し、しばしば転送性能を損なう可能性があることを示す。 実装は簡単で、追加のパラメータが不要で、あらゆるドメイン・アドバイザリ・フレームワークにプラグインすることができます。
• 参考スコア（独自算出の注目度）: 80.3821370633883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dominant line of work in domain adaptation has focused on learning invariant representations using domain-adversarial training. In this paper, we interpret this approach from a game theoretical perspective. Defining optimal solutions in domain-adversarial training as a local Nash equilibrium, we show that gradient descent in domain-adversarial training can violate the asymptotic convergence guarantees of the optimizer, oftentimes hindering the transfer performance. Our analysis leads us to replace gradient descent with high-order ODE solvers (i.e., Runge-Kutta), for which we derive asymptotic convergence guarantees. This family of optimizers is significantly more stable and allows more aggressive learning rates, leading to high performance gains when used as a drop-in replacement over standard optimizers. Our experiments show that in conjunction with state-of-the-art domain-adversarial methods, we achieve up to 3.5% improvement with less than of half training iterations. Our optimizers are easy to implement, free of additional parameters, and can be plugged into any domain-adversarial framework.
• Abstract（参考訳）: ドメイン適応における支配的な作業は、ドメイン-敵のトレーニングを使って不変表現を学習することに焦点を当てている。 本稿では,ゲーム理論の観点から,このアプローチを解釈する。 局所的なナッシュ均衡としてのドメイン対逆トレーニングにおける最適解を定義することで、ドメイン対逆トレーニングにおける勾配勾配は、最適化器の漸近収束保証に違反し、しばしば転送性能を妨げていることを示す。 解析により勾配降下を高階ODEソルバ(すなわちルンゲ・クッタ)に置き換え、漸近収束保証を導出する。 このオプティマイザのファミリーは、はるかに安定しており、より積極的な学習率を可能にし、標準オプティマイザよりもドロップイン代替として使用される場合、高いパフォーマンス向上につながる。 実験の結果,最先端のドメイン攻撃手法と組み合わせることで,半数以下のトレーニングイテレーションで最大3.5%の改善が達成できることがわかった。 私たちのオプティマイザは実装が容易で、追加のパラメータは不要です。

関連論文リスト

• Improving Instance Optimization in Deformable Image Registration with Gradient Projection [7.6061804149819885]
  変形可能な画像登録は本質的に多目的最適化問題である。 これらの矛盾する目的は、しばしば最適化結果の貧弱につながる。 ディープラーニングの手法は、大規模なデータセット処理の効率化により、最近この領域で人気を博している。
  論文  参考訳（メタデータ） (2024-10-21T08:27:13Z)
• Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts [38.78485556098491]
  本稿ではドメインシフト下での最適化のためのドメインインスパイアされたシャープネス認識最小化(DISAM)アルゴリズムを提案する。 これは異なる領域にまたがるSAMの矛盾収束度によって動機付けられ、特定の領域に対する最適化バイアスを引き起こす。 このメカニズムの下では、理論上、DIAMはより高速な総合収束を実現し、原理的に一般化を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-29T08:22:33Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• A Closer Look at Smoothness in Domain Adversarial Training [37.205372217498656]
  本研究は,スムーズネス向上の定式化がドメイン逆行訓練に及ぼす影響を解析する。 タスク損失(w.r.t.)に関してスムーズな最小値に収束すると、敵の訓練が安定し、目標領域の性能が向上する。 タスク損失とは対照的に,スムーズな最小値w.r.t.逆数損失への収束は,対象領域の準最適一般化につながることを示す。
  論文  参考訳（メタデータ） (2022-06-16T14:31:38Z)
• Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning [62.7588467386166]
  ドメイン間で構造的に類似するラベルパッチの機能を調整することで、ドメインギャップを埋めるためにコントラスト学習を利用する。 私たちのアプローチは、常に2つの困難なドメイン適応セグメンテーションタスクにおいて、最先端の非監視および半監督メソッドを上回ります。
  論文  参考訳（メタデータ） (2021-04-22T13:39:12Z)
• Gradient Matching for Domain Generalization [93.04545793814486]
  機械学習システムの重要な要件は、見えないドメインに一般化する能力です。 ドメインの一般化を目標とするドメイン間勾配マッチングの目的を提案する。 我々は、その最適化を近似する単純な一階アルゴリズムfishを導出する。
  論文  参考訳（メタデータ） (2021-04-20T12:55:37Z)
• Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
  サーカズム検出のための共通データセットを活用するために,転送学習を適用する。 異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。 特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
  論文  参考訳（メタデータ） (2021-04-19T13:07:52Z)
• Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation [169.82760468633236]
  本稿では,ソースとターゲットの画素ペア間の画素レベルサイクルの関連性を構築することを提案する。 我々の手法は1段階のエンドツーエンドで訓練でき、追加のパラメータは導入しない。
  論文  参考訳（メタデータ） (2020-10-31T00:11:36Z)
• Unsupervised Domain Adaptive Object Detection using Forward-Backward Cyclic Adaptation [13.163271874039191]
  本稿では,フォワード・バック・サイクリック(FBC)トレーニングによる物体検出のための教師なし領域適応手法を提案する。 近年, 対角訓練に基づく領域適応法は, 限界特徴分布アライメントによる領域差最小化に有効であることが示された。 本稿では,後方ホッピングによるソースからターゲットへの適応と,前方通過によるターゲットからソースへの適応を反復的に計算するフォワード・バック・サイクル適応を提案する。
  論文  参考訳（メタデータ） (2020-02-03T06:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。