Fugu-MT 論文翻訳(概要): Training Neural Networks for Execution on Approximate Hardware

論文の概要: Training Neural Networks for Execution on Approximate Hardware

arxiv url: http://arxiv.org/abs/2304.04125v1
Date: Sat, 8 Apr 2023 23:59:54 GMT
ステータス: 処理完了
システム内更新日: 2023-04-11 17:39:08.320770
Title: Training Neural Networks for Execution on Approximate Hardware
Title（参考訳）: 近似ハードウェアの実行のためのニューラルネットワークのトレーニング
Authors: Tianmu Li, Shurui Li, Puneet Gupta
Abstract要約: 本稿では,近似ハードウェアのトレーニング手法について議論する。そこで本研究では,トレーニングをハードウェアに特化させる方法を示し,トレーニングプロセスを最大18倍高速化する手法を提案する。
参考スコア（独自算出の注目度）: 2.624077464412576
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Approximate computing methods have shown great potential for deep learning. Due to the reduced hardware costs, these methods are especially suitable for inference tasks on battery-operated devices that are constrained by their power budget. However, approximate computing hasn't reached its full potential due to the lack of work on training methods. In this work, we discuss training methods for approximate hardware. We demonstrate how training needs to be specialized for approximate hardware, and propose methods to speed up the training process by up to 18X.
Abstract（参考訳）: 近似計算手法はディープラーニングに大きな可能性を示している。ハードウェアコストの削減により、これらの手法は電力予算に制約されたバッテリー駆動デバイスでの推論タスクに特に適している。しかし、訓練方法の不足のため、近似計算は完全な可能性に達していない。本稿では,近似ハードウェアのトレーニング手法について議論する。そこで本研究では,トレーニングをハードウェアに特化させる方法を示し,トレーニングプロセスを最大18倍高速化する手法を提案する。

関連論文リスト

Gradient-Free Neural Network Training on the Edge [12.472204825917629]
ニューラルネットワークのトレーニングは計算的に重く、エネルギー集約的である。この研究は、勾配を必要とせずにニューラルネットワークをトレーニングするための新しいテクニックを提示している。本研究では,各ニューロンの予測された分類に対する誤った寄与を同定することにより,勾配に基づく最適化手法を使わずにモデルを訓練することが可能であることを示す。
論文参考訳（メタデータ） (2024-10-13T05:38:39Z)
Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文参考訳（メタデータ） (2024-06-13T05:49:29Z)
SCoTTi: Save Computation at Training Time with an adaptive framework [7.780766187171572]
デバイス上でのトレーニングは、エッジデバイス上でモデルをトレーニングする機械学習における新たなアプローチである。本研究では,SCoTTi(Save Computation at Training Time)を提案する。提案手法は, 様々なベンチマークにおいて, 計算資源の節約に関する最先端手法と比較して, 優れた性能を示す。
論文参考訳（メタデータ） (2023-12-19T16:19:33Z)
Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks [0.0]
本研究では,既存の32ビットモデルのトレーニングを16ビット精度で継続する手法を提案する。進行中のトレーニングに16ビットの精度を採用することで、メモリ要件と計算負荷を大幅に削減できる。実験により,本手法は,元の32ビットトレーニングによって設定された高精度な精度を維持しつつ,学習速度を向上することを示す。
論文参考訳（メタデータ） (2023-11-30T14:28:25Z)
A Survey on Efficient Training of Transformers [72.31868024970674]
この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。
論文参考訳（メタデータ） (2023-02-02T13:58:18Z)
Training Transformers Together [62.65287087770844]
このデモでは,OpenAI DALL-Eに似たテキスト・画像変換器を共同で訓練した。このようなトレーニングの実行に関連する,エンジニアリング上の課題に対処する方法について説明する。得られたモデルが複数のプロンプトに対して妥当な品質の画像を生成することを示す。
論文参考訳（メタデータ） (2022-07-07T17:59:16Z)
Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
論文参考訳（メタデータ） (2021-12-11T08:05:11Z)
Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
論文参考訳（メタデータ） (2021-12-07T20:15:39Z)
ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文参考訳（メタデータ） (2021-10-11T14:45:00Z)
Class Means as an Early Exit Decision Mechanism [18.300490726072326]
本稿では,サンプルの類型的手法に基づく新しい早期出口手法を提案する。この手法は低消費電力デバイスにおけるニューラルネットワークトレーニングに特に有用である。
論文参考訳（メタデータ） (2021-03-01T17:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。