論文の概要: Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN

• arxiv url: http://arxiv.org/abs/2504.15099v1
• Date: Mon, 21 Apr 2025 13:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 16:24:08.565134
• Title: Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN
• Title（参考訳）: 高速低速コアドバンス最適化:GANの高調波対応訓練に向けて
• Authors: Lin Wang, Xiancheng Wang, Rui Wang, Zhibo Zhang, Minghang Zhao,
• Abstract要約: 本稿では,GANの学習過程における強化学習を活用して学習を容易にする,新たなインテリジェントなFSCO(Fast-Slow Co-advancing)を提案する。 具体的には、エージェントがトレーニングステップサイズを制御することで、トレーニングの安定性を向上し、トレーニングプロセスが可変学習率でよりインテリジェントになり、ステップサイズに対するGANの感度が低下する。
• 参考スコア（独自算出の注目度）: 9.7276022845523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Up to now, the training processes of typical Generative Adversarial Networks (GANs) are still particularly sensitive to data properties and hyperparameters, which may lead to severe oscillations, difficulties in convergence, or even failures to converge, especially when the overall variances of the training sets are large. These phenomena are often attributed to the training characteristics of such networks. Aiming at the problem, this paper develops a new intelligent optimizer, Fast-Slow Co-advancing Optimizer (FSCO), which employs reinforcement learning in the training process of GANs to make training easier. Specifically, this paper allows the training step size to be controlled by an agent to improve training stability, and makes the training process more intelligent with variable learning rates, making GANs less sensitive to step size. Experiments have been conducted on three benchmark datasets to verify the effectiveness of the developed FSCO.
• Abstract（参考訳）: これまでは、GAN(Generative Adversarial Networks)のトレーニングプロセスは、特にデータ特性やハイパーパラメータに敏感であり、特にトレーニングセットの全体的な分散が大きい場合には、激しい振動、収束の困難、あるいは収束の失敗につながる可能性がある。 これらの現象は、しばしばそのようなネットワークのトレーニング特性に起因している。 そこで本研究では,GANの学習過程に強化学習を取り入れた,インテリジェントな最適化手法であるFSCO(Fast-Slow Co-advancing Optimizer)を開発した。 具体的には、エージェントがトレーニングステップサイズを制御することで、トレーニングの安定性を向上し、トレーニングプロセスが可変学習率でよりインテリジェントになり、ステップサイズに対するGANの感度が低下する。 開発したFSCOの有効性を検証するために,3つのベンチマークデータセットを用いて実験を行った。

関連論文リスト

• AdamZ: An Enhanced Optimisation Method for Neural Network Training [1.54994260281059]
  AdamZは、オーバーシューティングと停滞に対処するメカニズムを組み込むことで、学習率を動的に調整する。 損失関数の最小化に一貫して優れており、精度が重要なアプリケーションに特に有利である。
  論文  参考訳（メタデータ） (2024-11-22T23:33:41Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Accelerated Training via Incrementally Growing Neural Networks using Variance Transfer and Learning Rate Adaptation [34.7523496790944]
  本研究では,ニューラルネットワークを効率的に成長させる手法を開発し,パラメータ化と最適化の戦略をトレーニングダイナミクスを考慮して設計する。 提案手法は,従来のトレーニング予算の大部分を節約しつつ,大規模な固定サイズモデルのトレーニングよりも高い精度で達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T07:06:45Z)
• Balanced Training for Sparse GANs [16.045866864231417]
  本研究では, スパース発生器と判別器のバランスを研究するために, BRと呼ばれる新しい指標を提案する。 また、GANトレーニング中にBRを制御し、性能と計算コストのトレードオフを良好に達成するために、バランスド・ダイナミックスパース・トレーニング(ADAPT)と呼ばれる新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-02-28T15:34:01Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
  固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
  論文  参考訳（メタデータ） (2022-06-16T01:50:25Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Improving GAN Training with Probability Ratio Clipping and Sample Reweighting [145.5106274085799]
  GAN(Generative Adversarial Network)は、不安定なトレーニングにより性能が低下することが多い。 本稿では,より優れたトレーニング安定性を享受する新しい変分GANトレーニングフレームワークを提案する。 多様な最先端のGANアーキテクチャにトレーニングアプローチを組み込むことで、幅広いタスクに対して大幅な性能向上を実現した。
  論文  参考訳（メタデータ） (2020-06-12T01:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。