Fugu-MT 論文翻訳(概要): Efficient Training Under Limited Resources

論文の概要: Efficient Training Under Limited Resources

arxiv url: http://arxiv.org/abs/2301.09264v1
Date: Mon, 23 Jan 2023 04:26:20 GMT
ステータス: 処理完了
システム内更新日: 2023-01-24 14:09:59.567035
Title: Efficient Training Under Limited Resources
Title（参考訳）: 限られた資源下での効率的な訓練
Authors: Mahdi Zolnouri, Dounia Lakhmiri, Christophe Tribes, Eyy\"ub Sari, S\'ebastien Le Digabel
Abstract要約: ディープラーニング(DNN)の性能に影響を与える要因のひとつとして,データセットのトレーニング時間予算とサイズがある。このような目標を達成するためのアプローチを3つのステップで提示する。我々の研究は、ICLR 2021 Hardware Aware Efficient Training (HAET) Challengeで、Mini-ImageNetの小さなサブセットに対して86.0%の精度を達成した。
参考スコア（独自算出の注目度）: 1.5749416770494706
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training time budget and size of the dataset are among the factors affecting the performance of a Deep Neural Network (DNN). This paper shows that Neural Architecture Search (NAS), Hyper Parameters Optimization (HPO), and Data Augmentation help DNNs perform much better while these two factors are limited. However, searching for an optimal architecture and the best hyperparameter values besides a good combination of data augmentation techniques under low resources requires many experiments. We present our approach to achieving such a goal in three steps: reducing training epoch time by compressing the model while maintaining the performance compared to the original model, preventing model overfitting when the dataset is small, and performing the hyperparameter tuning. We used NOMAD, which is a blackbox optimization software based on a derivative-free algorithm to do NAS and HPO. Our work achieved an accuracy of 86.0 % on a tiny subset of Mini-ImageNet at the ICLR 2021 Hardware Aware Efficient Training (HAET) Challenge and won second place in the competition. The competition results can be found at haet2021.github.io/challenge and our source code can be found at github.com/DouniaLakhmiri/ICLR\_HAET2021.
Abstract（参考訳）: データセットのトレーニング時間予算とサイズは、Deep Neural Network(DNN)のパフォーマンスに影響を与える要因のひとつだ。本稿では、ニューラルネットワーク探索(NAS)、ハイパーパラメータ最適化(HPO)、データ拡張により、これらの2つの要因が限定される一方で、DNNの性能が向上することを示す。しかし、最適なアーキテクチャと最適なハイパーパラメーター値を求めるには、低リソース下でのデータ拡張手法をうまく組み合わせる以外に、多くの実験が必要である。本稿では,従来のモデルと比較して性能を保ちながらモデルを圧縮し,データセットが小さい場合のモデルの過度な適合を防止し,ハイパーパラメータチューニングを行うことにより,この目標を達成するための3つのステップを提案する。我々はNASとHPOを行うためにデリバティブフリーアルゴリズムに基づくブラックボックス最適化ソフトウェアであるNOMADを使用した。我々の研究は、ICLR 2021 Hardware Aware Efficient Training (HAET) Challengeで、Mini-ImageNetの小さなサブセットに対して86.0%の精度を達成した。コンペの結果はhaet2021.github.io/challengeで、ソースコードはgithub.com/DouniaLakhmiri/ICLR\_HAET2021で確認できます。

関連論文リスト

Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
論文参考訳（メタデータ） (2024-01-09T14:32:24Z)
Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks [11.19282454437627]
スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
論文参考訳（メタデータ） (2023-08-09T02:50:15Z)
Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
論文参考訳（メタデータ） (2023-05-23T14:31:52Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文参考訳（メタデータ） (2022-03-23T13:44:15Z)
Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
論文参考訳（メタデータ） (2021-10-08T06:35:20Z)
PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
論文参考訳（メタデータ） (2021-01-11T20:49:55Z)
ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning [5.251940442946459]
本研究では、与えられたモデルとデータフロースタイルに対して最適化されたHWリソース割り当てを見つけるために、ConfuciuXと呼ばれる自律的戦略を提案する。最適化されたハードウェア構成4.7から24倍の速度で収束する。
論文参考訳（メタデータ） (2020-09-04T04:59:26Z)
FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文参考訳（メタデータ） (2020-06-03T05:20:21Z)
DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文参考訳（メタデータ） (2020-03-27T17:55:21Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。