論文の概要: Impact of On-Chip Interconnect on In-Memory Acceleration of Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2107.02358v1
- Date: Tue, 6 Jul 2021 02:44:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 02:31:35.217987
- Title: Impact of On-Chip Interconnect on In-Memory Acceleration of Deep Neural
Networks
- Title（参考訳）: ディープニューラルネットワークのインメモリ・アクセラレーションに及ぼすオンチップ・インターコネクトの影響
- Authors: Gokul Krishnan, Sumit K. Mandal, Chaitali Chakrabarti, Jae-sun Seo,
Umit Y. Ogras, Yu Cao
- Abstract要約: 接続密度の増加はチップ上のデータ移動を増加させる。
本稿では,P2Pベースの相互接続が,チップ上の大量のデータ移動を処理できないことを示す。
任意のDNNに対して最適な相互接続を選択する手法を提案する。
- 参考スコア（独自算出の注目度）: 11.246977770747526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the widespread use of Deep Neural Networks (DNNs), machine learning
algorithms have evolved in two diverse directions -- one with ever-increasing
connection density for better accuracy and the other with more compact sizing
for energy efficiency. The increase in connection density increases on-chip
data movement, which makes efficient on-chip communication a critical function
of the DNN accelerator. The contribution of this work is threefold. First, we
illustrate that the point-to-point (P2P)-based interconnect is incapable of
handling a high volume of on-chip data movement for DNNs. Second, we evaluate
P2P and network-on-chip (NoC) interconnect (with a regular topology such as a
mesh) for SRAM- and ReRAM-based in-memory computing (IMC) architectures for a
range of DNNs. This analysis shows the necessity for the optimal interconnect
choice for an IMC DNN accelerator. Finally, we perform an experimental
evaluation for different DNNs to empirically obtain the performance of the IMC
architecture with both NoC-tree and NoC-mesh. We conclude that, at the tile
level, NoC-tree is appropriate for compact DNNs employed at the edge, and
NoC-mesh is necessary to accelerate DNNs with high connection density.
Furthermore, we propose a technique to determine the optimal choice of
interconnect for any given DNN. In this technique, we use analytical models of
NoC to evaluate end-to-end communication latency of any given DNN. We
demonstrate that the interconnect optimization in the IMC architecture results
in up to 6$\times$ improvement in energy-delay-area product for VGG-19
inference compared to the state-of-the-art ReRAM-based IMC architectures.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の普及に伴い、機械学習アルゴリズムは2つの異なる方向に進化してきた。
接続密度の増加はチップ上のデータ移動を増大させ、効率的なオンチップ通信をDNNアクセラレータの重要な機能にする。
この作品の貢献は3倍である。
まず,P2P(point-to-point)ベースの相互接続は,DNNに対して大量のオンチップデータ移動を処理できないことを示す。
第2に、SRAMおよびReRAMベースのインメモリコンピューティング(IMC)アーキテクチャにおけるP2Pとネットワークオンチップ(NoC)相互接続(メッシュなどの正規トポロジ)を、様々なDNNに対して評価する。
この分析は,IMC DNN加速器の最適相互接続選択の必要性を示している。
最後に、異なるDNNに対して実験的な評価を行い、NOC-treeとNoC-meshの両方を用いてIMCアーキテクチャの性能を実証的に取得する。
タイルレベルでは、NoC-treeはエッジで使用されるコンパクトDNNに適しており、接続密度の高いDNNを加速するためにはNoC-meshが必要であると結論付けている。
さらに,任意のDNNに対して相互接続の最適選択を決定する手法を提案する。
本手法では,任意のDNNの終端通信遅延を評価するために,NoCの解析モデルを用いる。
IMCアーキテクチャにおける相互接続最適化は、最先端のReRAMベースのIMCアーキテクチャと比較して、VGG-19推論におけるエネルギー遅延面積の最大6$\times$の改善をもたらすことを示す。
関連論文リスト
- Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。
ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。
本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
論文 参考訳（メタデータ） (2024-11-07T14:08:35Z) - Resource-Efficient Sensor Fusion via System-Wide Dynamic Gated Neural Networks [16.0018681576301]
我々はQuantile-Constrained Inference (QIC)と呼ばれる新しいアルゴリズム戦略を提案する。
QICは、上記のシステムのすべての側面について、共同で高品質で迅速な決定を行います。
結果,QICは最適値と一致し,選択肢を80%以上上回っていることを確認した。
論文 参考訳（メタデータ） (2024-10-22T06:12:04Z) - Optimizing DNN Inference on Multi-Accelerator SoCs at Training-time [5.05866540830123]
我々は,様々なチップのCUの中から,ディープニューラルネットワーク(DNN)の細粒度マッピングを効率的に探索するハードウェア認識ツールであるODiMOを提案する。
ODiMOはDarkside上で実行されるDNNの遅延を、手動のマッピングに比べて最大8倍の精度で削減することを示す。
エネルギーを目標とする場合、ODiMOはより効率的なマッピングを最大50.8倍に生成し、精度は最小限に抑えた。
論文 参考訳（メタデータ） (2024-09-27T09:10:44Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - SpikeSim: An end-to-end Compute-in-Memory Hardware Evaluation Tool for
Benchmarking Spiking Neural Networks [4.0300632886917]
SpikeSimは、IMCマップされたSNNの現実的なパフォーマンス、エネルギ、レイテンシ、領域評価を実現するツールである。
神経モジュールの面積の1.24倍と10倍に減少するSNNトポロジカルな変化と全エネルギー・遅延生成値を提案する。
論文 参考訳（メタデータ） (2022-10-24T01:07:17Z) - Masked Bayesian Neural Networks : Computation and Optimality [1.3649494534428745]
そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。
我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。
いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
論文 参考訳（メタデータ） (2022-06-02T02:59:55Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳（メタデータ） (2022-05-23T12:35:18Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。
精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。
d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
論文 参考訳（メタデータ） (2021-01-15T03:18:53Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。