Fugu-MT 論文翻訳(概要): Fast Benchmarking of Accuracy vs. Training Time with Cyclic Learning Rates

論文の概要: Fast Benchmarking of Accuracy vs. Training Time with Cyclic Learning Rates

arxiv url: http://arxiv.org/abs/2206.00832v1
Date: Thu, 2 Jun 2022 02:12:13 GMT
ステータス: 処理完了
システム内更新日: 2022-06-04 01:04:34.882643
Title: Fast Benchmarking of Accuracy vs. Training Time with Cyclic Learning Rates
Title（参考訳）: 繰り返し学習率を用いた学習時間と精度の高速ベンチマーク
Authors: Jacob Portes, Davis Blalock, Cory Stephenson, Jonathan Frankle
Abstract要約: 本稿では,1回のトレーニングにおいて,乗法的循環学習率スケジュールを用いてトレードオフ曲線を構築する方法を示す。我々は,Blurpool,Channels Last,Label Smoothing,MixUpといったトレーニング手法の組み合わせに対して,周期的トレードオフ曲線を生成する。
参考スコア（独自算出の注目度）: 15.974258542078307
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Benchmarking the tradeoff between neural network accuracy and training time is computationally expensive. Here we show how a multiplicative cyclic learning rate schedule can be used to construct a tradeoff curve in a single training run. We generate cyclic tradeoff curves for combinations of training methods such as Blurpool, Channels Last, Label Smoothing and MixUp, and highlight how these cyclic tradeoff curves can be used to evaluate the effects of algorithmic choices on network training efficiency.
Abstract（参考訳）: ベンチマークニューラルネットワークの精度とトレーニング時間のトレードオフは計算コストが高い。ここでは,1回のトレーニングでトレードオフ曲線を構築するために,乗法的循環学習率スケジュールをいかに利用できるかを示す。 blurpool,channel last, label smoothing,mixupなどのトレーニング手法の組み合わせに対して,循環的トレードオフ曲線を生成し,これらの循環的トレードオフ曲線を用いてネットワークトレーニング効率に対するアルゴリズム的選択の影響を評価する方法を強調した。

関連論文リスト

CycleBNN: Cyclic Precision Training in Binary Neural Networks [13.756549063691624]
本稿では,バイナリニューラルネットワーク(BNN)について述べる。 BNNは計算オーバーヘッドとメモリフットプリントを大幅に削減し、完全な精度ネットワークを提供する。しかし、エネルギー集約的なトレーニングの課題とパフォーマンスの低下は、永続的な問題である。従来の研究とは異なり,本研究では,サイクロンBNNを導入して,BNNとサイクル精度トレーニングを統合した革新的な方法論を提案する。
論文参考訳（メタデータ） (2024-09-28T08:51:25Z)
Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
スケールは強力な機械学習モデルを得る上で重要な要素となっている。本研究では,コサインのスケジュールに依存するため,スケールとトレーニングの研究は必然的に複雑である,と論じる。その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
論文参考訳（メタデータ） (2024-05-28T17:33:54Z)
Better Schedules for Low Precision Training of Deep Neural Networks [13.88763215392452]
周期的精度訓練(CPT)は、周期的スケジュールに従って、訓練を通しての精度を動的に調整する。 CPTはトレーニング効率が特に向上し、実際にDNNのパフォーマンスが向上している。
論文参考訳（メタデータ） (2024-03-04T17:33:39Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Benchmarking Neural Network Training Algorithms [46.39165332979669]
トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
論文参考訳（メタデータ） (2023-06-12T15:21:02Z)
AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-09-17T12:18:43Z)
Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文参考訳（メタデータ） (2020-08-28T04:29:54Z)
Memory-efficient training with streaming dimensionality reduction [14.198224213972173]
本稿では,Deep Neural Networkトレーニングのための更新アルゴリズムとして,ストリーミングバッチコンポーネント分析を導入する。ストリーミングバッチコンポーネント分析により、さまざまな共通データセット上で畳み込みニューラルネットワークを効果的にトレーニングできることが示される。
論文参考訳（メタデータ） (2020-04-25T02:13:43Z)
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文参考訳（メタデータ） (2020-03-25T10:49:22Z)
Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文参考訳（メタデータ） (2020-03-15T21:36:46Z)
Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
論文参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。