Fugu-MT 論文翻訳(概要): STANNIS: Low-Power Acceleration of Deep Neural Network Training Using Computational Storage

論文の概要: STANNIS: Low-Power Acceleration of Deep Neural Network Training Using Computational Storage

arxiv url: http://arxiv.org/abs/2002.07215v2
Date: Wed, 19 Feb 2020 18:56:52 GMT
ステータス: 処理完了
システム内更新日: 2022-12-31 13:10:48.710235
Title: STANNIS: Low-Power Acceleration of Deep Neural Network Training Using Computational Storage
Title（参考訳）: STANNIS:計算ストレージを用いたディープニューラルネットワークトレーニングの低消費電力高速化
Authors: Ali HeydariGorji, Mahdi Torabzadehkashi, Siavash Rezaei, Hossein Bobarshad, Vladimir Alves, Pai H. Chou
Abstract要約: 本稿では,計算記憶装置のクラスタ上でのニューラルネットワークの分散インストレージトレーニングのためのフレームワークを提案する。このようなデバイスはハードウェアアクセラレーターを含むだけでなく、ホストとストレージの間のデータ移動も排除し、パフォーマンスと省電力が向上する。
参考スコア（独自算出の注目度）: 1.4680035572775534
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper proposes a framework for distributed, in-storage training of neural networks on clusters of computational storage devices. Such devices not only contain hardware accelerators but also eliminate data movement between the host and storage, resulting in both improved performance and power savings. More importantly, this in-storage processing style of training ensures that private data never leaves the storage while fully controlling the sharing of public data. Experimental results show up to 2.7x speedup and 69% reduction in energy consumption and no significant loss in accuracy.
Abstract（参考訳）: 本稿では,計算記憶装置のクラスタ上でのニューラルネットワークの分散インストレージトレーニングのためのフレームワークを提案する。このようなデバイスはハードウェアアクセラレーターを含むだけでなく、ホストとストレージの間のデータ移動も排除し、パフォーマンスと省電力が向上する。さらに重要なことに、このストレージ内処理スタイルのトレーニングは、パブリックデータの共有を完全に制御しながらも、プライベートデータがストレージを離れないことを保証する。実験結果は2.7倍のスピードアップと69%のエネルギー消費の削減であり、精度は著しく低下しない。

関連論文リスト

Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
論文参考訳（メタデータ） (2024-06-29T02:40:28Z)
Rediscovering Hashed Random Projections for Efficient Quantization of Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文参考訳（メタデータ） (2023-03-13T10:53:00Z)
RRNet: Towards ReLU-Reduced Neural Network for Two-party Computation Based Private Inference [17.299835585861747]
本稿では,MPC比較プロトコルのオーバーヘッドを減らし,ハードウェアアクセラレーションによる計算を高速化するフレームワークRRNetを紹介する。提案手法は,暗号ビルディングブロックのハードウェア遅延をDNN損失関数に統合し,エネルギー効率,精度,セキュリティ保証を改善する。
論文参考訳（メタデータ） (2023-02-05T04:02:13Z)
DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
論文参考訳（メタデータ） (2022-08-05T03:15:28Z)
Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks [6.03025980398201]
メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
論文参考訳（メタデータ） (2022-03-11T19:59:43Z)
Neural Network Compression for Noisy Storage Devices [71.4102472611862]
従来、モデル圧縮と物理ストレージは分離される。このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
論文参考訳（メタデータ） (2021-02-15T18:19:07Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文参考訳（メタデータ） (2020-09-08T15:51:23Z)
HyperTune: Dynamic Hyperparameter Tuning For Efficient Distribution of DNN Training Over Heterogeneous Systems [1.4680035572775532]
本稿では,計算記憶装置(CSD)におけるディープニューラルネットワーク(DNN)の分散トレーニングについて述べる。 CSDベースの分散アーキテクチャは、パフォーマンスのスケーラビリティ、レジリエンス、データプライバシといった面で、フェデレーション学習の利点を取り入れている。また、既存の分散トレーニングフレームワークの欠点を改善するDNNトレーニングフレームワークであるStannisについても説明している。
論文参考訳（メタデータ） (2020-07-16T02:12:44Z)
Efficient Memory Management for Deep Neural Net Inference [0.0]
ディープニューラルネット推論は、レイテンシからプライバシに至るまで、さまざまな理由で望まれるモバイルおよび組み込みデバイスに移行できるようになった。これらのデバイスは、計算能力とバッテリだけでなく、劣る物理メモリとキャッシュによって制限されるため、効率的なメモリマネージャは、エッジでのディープニューラルネットワーク推論において重要なコンポーネントとなる。
論文参考訳（メタデータ） (2020-01-10T02:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。