論文の概要: Reducing Data Bottlenecks in Distributed, Heterogeneous Neural Networks

• arxiv url: http://arxiv.org/abs/2410.09650v1
• Date: Sat, 12 Oct 2024 21:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 08:56:21.519927
• Title: Reducing Data Bottlenecks in Distributed, Heterogeneous Neural Networks
• Title（参考訳）: 分散異種ニューラルネットワークにおけるデータブートネックの低減
• Authors: Ruhai Lin, Rui-Jie Zhu, Jason K. Eshraghian,
• Abstract要約: 本稿では,組込みマルチコアおよびマルチコアシステムにおいて,ボトルネックサイズがディープラーニングモデルの性能に与える影響について検討する。 ハードウェア・ソフトウェア共同設計手法を適用し,データトラフィックを減らすため,データボトルネックを極めて狭い層に置き換える。 ハードウェア側の評価では、より高いボトルネック比が、ニューラルネットワークの層間でのデータ転送量を大幅に削減することを示している。
• 参考スコア（独自算出の注目度）: 5.32129361961937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of embedded multicore and many-core systems has revolutionized computing, enabling the development of high-performance, energy-efficient solutions for a wide range of applications. As models scale up in size, data movement is increasingly the bottleneck to performance. This movement of data can exist between processor and memory, or between cores and chips. This paper investigates the impact of bottleneck size, in terms of inter-chip data traffic, on the performance of deep learning models in embedded multicore and many-core systems. We conduct a systematic analysis of the relationship between bottleneck size, computational resource utilization, and model accuracy. We apply a hardware-software co-design methodology where data bottlenecks are replaced with extremely narrow layers to reduce the amount of data traffic. In effect, time-multiplexing of signals is replaced by learnable embeddings that reduce the demands on chip IOs. Our experiments on the CIFAR100 dataset demonstrate that the classification accuracy generally decreases as the bottleneck ratio increases, with shallower models experiencing a more significant drop compared to deeper models. Hardware-side evaluation reveals that higher bottleneck ratios lead to substantial reductions in data transfer volume across the layers of the neural network. Through this research, we can determine the trade-off between data transfer volume and model performance, enabling the identification of a balanced point that achieves good performance while minimizing data transfer volume. This characteristic allows for the development of efficient models that are well-suited for resource-constrained environments.
• Abstract（参考訳）: 組み込みマルチコアおよびマルチコアシステムの急速な進歩は、コンピュータに革命をもたらし、幅広い応用のための高性能でエネルギー効率の高いソリューションの開発を可能にした。 モデルのサイズが大きくなるにつれて、データの動きがパフォーマンスのボトルネックとなっていきます。 このようなデータの移動は、プロセッサとメモリ、あるいはコアとチップの間に存在する。 本稿では,チップ間データトラフィックの観点からボトルネックサイズが,組込みマルチコアおよびマルチコアシステムにおけるディープラーニングモデルの性能に与える影響について検討する。 本研究では,ボトルネックサイズ,計算資源利用量,モデル精度の関係を体系的に解析する。 ハードウェア・ソフトウェア共同設計手法を適用し,データトラフィックを減らすため,データボトルネックを極めて狭い層に置き換える。 事実上、信号の時間多重化は、チップIOの要求を減少させる学習可能な埋め込みに置き換えられる。 CIFAR100データセットを用いた実験では、ボトルネック比が増加するにつれて分類精度が一般的に低下し、より深いモデルに比べて浅いモデルの方が顕著に低下することが示された。 ハードウェア側の評価では、より高いボトルネック比が、ニューラルネットワークの層間でのデータ転送量を大幅に削減することを示している。 本研究により,データ転送量とモデル性能のトレードオフを判定し,データ転送量を最小化しつつ,良好な性能を達成するバランスのとれた点の同定を可能にする。 この特徴は資源制約環境に適した効率的なモデルの開発を可能にする。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
  我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。 実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-07-08T19:34:39Z)
• IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
  IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。 IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。 CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-23T05:35:57Z)
• DRCT: Saving Image Super-resolution away from Information Bottleneck [7.765333471208582]
  低レベルのビジョンタスクに対するビジョントランスフォーマーベースのアプローチは、広く成功している。 空間情報の損失を軽減するため,Dense-Residual-Connected Transformer (DRCT)を提案する。 提案手法は,ベンチマークデータセットの最先端手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-03-31T15:34:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Deep convolutional generative adversarial networks for traffic data imputation encoding time series as images [7.053891669775769]
  我々は,GAN(Generative Adversarial Network)に基づく交通センサデータ計算フレームワーク(TGAN)を開発した。 本研究では,GASF(Gramian Angular Summation Field)と呼ばれる新しい時間依存符号化手法を開発した。 本研究は,提案モデルにより,平均絶対誤差 (MAE) とルート平均正方形誤差 (RMSE) をベンチマークデータセットの最先端モデルと比較することにより,トラフィックデータ計算精度を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-05-05T19:14:02Z)
• A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
  ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。 ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。 本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
  論文  参考訳（メタデータ） (2020-04-10T16:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。