論文の概要: Mind the (optimality) Gap: A Gap-Aware Learning Rate Scheduler for Adversarial Nets

• arxiv url: http://arxiv.org/abs/2302.00089v1
• Date: Tue, 31 Jan 2023 20:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 13:51:41.434808
• Title: Mind the (optimality) Gap: A Gap-Aware Learning Rate Scheduler for Adversarial Nets
• Title（参考訳）: 最適)ギャップを意識する:敵対的ネットのためのギャップ対応学習率スケジューリング
• Authors: Hussein Hazimeh, Natalia Ponomareva
• Abstract要約: 生成モデリング(GAN)を含む様々な領域において、敵ネットが強力であることが証明された。 本稿では,適切なバランスを維持するために,相手の学習率を動的に適応させる新しい学習率スケジューラを設計する。 我々は、画像生成のためのGANとドメイン適応のための対角ネットの2つの一般的な用途におけるスケジューラの有効性について、大規模な実験を行った。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial nets have proved to be powerful in various domains including generative modeling (GANs), transfer learning, and fairness. However, successfully training adversarial nets using first-order methods remains a major challenge. Typically, careful choices of the learning rates are needed to maintain the delicate balance between the competing networks. In this paper, we design a novel learning rate scheduler that dynamically adapts the learning rate of the adversary to maintain the right balance. The scheduler is driven by the fact that the loss of an ideal adversarial net is a constant known a priori. The scheduler is thus designed to keep the loss of the optimized adversarial net close to that of an ideal network. We run large-scale experiments to study the effectiveness of the scheduler on two popular applications: GANs for image generation and adversarial nets for domain adaptation. Our experiments indicate that adversarial nets trained with the scheduler are less likely to diverge and require significantly less tuning. For example, on CelebA, a GAN with the scheduler requires only one-tenth of the tuning budget needed without a scheduler. Moreover, the scheduler leads to statistically significant improvements in model quality, reaching up to $27\%$ in Frechet Inception Distance for image generation and $3\%$ in test accuracy for domain adaptation.
• Abstract（参考訳）: 敵ネットは、生成モデリング(GAN)、伝達学習、公平性など、様々な領域において強力であることが証明されている。 しかし、一階法を用いて敵ネットのトレーニングに成功したことは大きな課題である。 通常、競合するネットワーク間の微妙なバランスを維持するためには、学習率の慎重に選択する必要がある。 本稿では,適切なバランスを維持するために,相手の学習率を動的に適応させる新しい学習率スケジューラを設計する。 スケジューラは、理想の対向ネットの損失が一定の既定値であるという事実によって駆動される。 したがって、スケジューラは、最適化された対向ネットの損失を理想的なネットワークの損失に近づけるように設計されている。 我々は,画像生成のためのganとドメイン適応のための逆ネットという2つの一般的なアプリケーションにおけるスケジューラの有効性を調べるために,大規模実験を行った。 実験の結果,スケジューラでトレーニングした対向ネットは分散しにくく,チューニングが著しく少ないことがわかった。 例えばcelebaでは、スケジューラを持つganは、スケジューラなしで必要なチューニング予算の10分の1しか必要としない。 さらに、スケジューラは、統計的にモデル品質が大幅に改善され、画像生成のためのフレシェ開始距離が最大$27\%、ドメイン適応のためのテスト精度が$3\%になる。

関連論文リスト

• Pruning In Time (PIT): A Lightweight Network Architecture Optimizer for Temporal Convolutional Networks [20.943095081056857]
  時間的畳み込みネットワーク(TCN)は、時系列処理タスクのためのディープラーニングモデルを約束している。 本稿では,時間軸の重み付け問題に対処し,重みとともに拡張因子を学習する自動拡張法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T14:03:16Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• LRTuner: A Learning Rate Tuner for Deep Neural Networks [10.913790890826785]
  学習率のスケジュールの選択は、計算コストがミニマに近づくこと、実際にミニマにどれだけ近づいたか、そして最も重要なのは、ローカルなミニマ(ワイド/ナロー)が到達したかを決定する。 現在のシステムは、手動チューニングされた学習率スケジュールを採用しており、各ネットワークとデータセットに対して面倒な調整がなされている。 LRTunerは,学習が進むにつれて学習率のスケジュールを調整できる手法である。
  論文  参考訳（メタデータ） (2021-05-30T13:06:26Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Smart Scheduling based on Deep Reinforcement Learning for Cellular Networks [18.04856086228028]
  深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。 実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。 本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-22T02:09:16Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。