論文の概要: Existence and Estimation of Critical Batch Size for Training Generative
Adversarial Networks with Two Time-Scale Update Rule
- arxiv url: http://arxiv.org/abs/2201.11989v2
- Date: Tue, 2 May 2023 14:10:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-03 18:34:52.257476
- Title: Existence and Estimation of Critical Batch Size for Training Generative
Adversarial Networks with Two Time-Scale Update Rule
- Title（参考訳）: 2つの時間スケール更新ルールを持つ生成逆数ネットワークのトレーニングのための臨界バッチサイズの存在と推定
- Authors: Naoki Sato and Hideaki Iiduka
- Abstract要約: これまで、異なる学習率を用いた2つの時間スケール更新ルール(TTUR)が、理論および実際におけるGAN(Generative Adversarial Network)のトレーニングに有用であることが示されてきた。
本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
- 参考スコア（独自算出の注目度）: 0.2741266294612775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous results have shown that a two time-scale update rule (TTUR) using
different learning rates, such as different constant rates or different
decaying rates, is useful for training generative adversarial networks (GANs)
in theory and in practice. Moreover, not only the learning rate but also the
batch size is important for training GANs with TTURs and they both affect the
number of steps needed for training. This paper studies the relationship
between batch size and the number of steps needed for training GANs with TTURs
based on constant learning rates. We theoretically show that, for a TTUR with
constant learning rates, the number of steps needed to find stationary points
of the loss functions of both the discriminator and generator decreases as the
batch size increases and that there exists a critical batch size minimizing the
stochastic first-order oracle (SFO) complexity. Then, we use the Fr'echet
inception distance (FID) as the performance measure for training and provide
numerical results indicating that the number of steps needed to achieve a low
FID score decreases as the batch size increases and that the SFO complexity
increases once the batch size exceeds the measured critical batch size.
Moreover, we show that measured critical batch sizes are close to the sizes
estimated from our theoretical results.
- Abstract（参考訳）: 従来,2つの時間スケール更新規則(TTUR)は,異なる学習率,あるいは異なる減衰率などの異なる学習速度を用いて,理論上,実際に生成的敵ネットワーク(GAN)を訓練するのに有用であった。
さらに, 学習速度だけでなく, バッチサイズも, TTURを用いたGANの訓練において重要であり, どちらも訓練に必要なステップ数に影響を与える。
本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
理論的には、一定の学習率を持つTTURの場合、判別器とジェネレータの両方の損失関数の定常点を見つけるために必要なステップの数は、バッチサイズが大きくなるにつれて減少し、確率的一階オラクル(SFO)の複雑さを最小化する臨界バッチサイズが存在することを示す。
次に、Fr'echet開始距離(FID)をトレーニングのパフォーマンス指標とし、バッチサイズが大きくなるにつれて、低いFIDスコアを達成するために必要なステップの数が減少し、バッチサイズが測定されたクリティカルバッチサイズを超えると、SFOの複雑さが増加することを示す数値結果を提供する。
さらに, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。
関連論文リスト
- How Does Critical Batch Size Scale in Pre-training? [23.284171845875985]
与えられたリソースの下で大規模なモデルを訓練するには、並列性戦略を慎重に設計する必要がある。
我々は、C4データセット上で、CBSと、C4データセット上の8500万から12億のパラメータを含む一連の自動回帰言語モデルを事前訓練する尺度を提案する。
論文 参考訳（メタデータ） (2024-10-29T02:54:06Z) - Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs [24.305423716384272]
我々は,1パス勾配勾配(SGD)を有する2層ニューラルネットワークの繰り返し時間に対するバッチサイズの影響について検討した。
大規模なバッチで勾配更新を行うことで、サンプル全体の複雑さを変えることなく、トレーニング時間を最小化できることが示される。
低次元常微分方程式(ODE)のシステムにより、トレーニングの進捗を追跡できることを示す。
論文 参考訳（メタデータ） (2024-06-04T09:44:49Z) - Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳（メタデータ） (2024-04-01T00:21:11Z) - Iteration and Stochastic First-order Oracle Complexities of Stochastic
Gradient Descent using Constant and Decaying Learning Rates [0.8158530638728501]
本研究では,学習速度だけでなく,バッチサイズにも依存していることを示す。
その結果, 評価された臨界バッチサイズは, 理論結果から推定したサイズに近いことがわかった。
論文 参考訳（メタデータ） (2024-02-23T14:24:45Z) - Relationship between Batch Size and Number of Steps Needed for Nonconvex
Optimization of Stochastic Gradient Descent using Armijo Line Search [0.8158530638728501]
本研究では,SGDが深層数値線を用いた場合,他の深層学習ネットワークよりも優れた性能を示す。
その結果,バッチサイズが大きくなるにつれて,SFOに必要なステップ数を推定できることが示唆された。
論文 参考訳（メタデータ） (2023-07-25T21:59:17Z) - BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。
提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
論文 参考訳（メタデータ） (2023-06-26T20:41:36Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳（メタデータ） (2023-03-30T03:22:52Z) - Q-Ensemble for Offline RL: Don't Scale the Ensemble, Scale the Batch
Size [58.762959061522736]
学習速度を適切に調整したミニバッチサイズをスケールすることで、トレーニングプロセスを桁違いに高速化できることを示す。
そこで本研究では,(1)Qアンサンブルの縮小,(2)分配行動の厳格化,(3)収束時間の改善など,ミニバッチサイズを拡大し,学習率を経時的に調整できることを示す。
論文 参考訳（メタデータ） (2022-11-20T21:48:25Z) - Mini-Batch Learning Strategies for modeling long term temporal
dependencies: A study in environmental applications [20.979235183394994]
環境応用において、リカレントニューラルネットワーク(RNN)は、長い時間的依存関係を持つ物理変数をモデル化するためにしばしば使用される。
ミニバッチトレーニングのため、バッチ内のトレーニングセグメント(イントラバッチ)とバッチ間の時間的関係は考慮されない。
本稿では,バッチ内とバッチ間の両方の時間依存性を強制する2つの戦略を提案する。
論文 参考訳（メタデータ） (2022-10-15T17:44:21Z) - Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
私たちはaを提案します。
Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。
多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-05-23T02:43:45Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。