論文の概要: Design Space Exploration of Dense and Sparse Mapping Schemes for RRAM Architectures

• arxiv url: http://arxiv.org/abs/2201.06703v1
• Date: Tue, 18 Jan 2022 02:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 18:43:18.175033
• Title: Design Space Exploration of Dense and Sparse Mapping Schemes for RRAM Architectures
• Title（参考訳）: RRAMアーキテクチャのためのDense and Sparse Mapping Schemeの設計空間探索
• Authors: Corey Lammie, Jason K. Eshraghian, Chenqi Li, Amirali Amirsoleimani, Roman Genov, Wei D. Lu, Mostafa Rahimi Azghadi
• Abstract要約: 本稿では,高密度かつスパースなマッピング方式の利点と限界を定量化するために,拡張された設計空間探索手法を提案する。 また, 1-Transistor-1-Resistor (1T1R) に導入される典型的な非イデアルのトレードオフを定量化し, 定式化するケーススタディを提案する。
• 参考スコア（独自算出の注目度）: 2.788414791586367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impact of device and circuit-level effects in mixed-signal Resistive Random Access Memory (RRAM) accelerators typically manifest as performance degradation of Deep Learning (DL) algorithms, but the degree of impact varies based on algorithmic features. These include network architecture, capacity, weight distribution, and the type of inter-layer connections. Techniques are continuously emerging to efficiently train sparse neural networks, which may have activation sparsity, quantization, and memristive noise. In this paper, we present an extended Design Space Exploration (DSE) methodology to quantify the benefits and limitations of dense and sparse mapping schemes for a variety of network architectures. While sparsity of connectivity promotes less power consumption and is often optimized for extracting localized features, its performance on tiled RRAM arrays may be more susceptible to noise due to under-parameterization, when compared to dense mapping schemes. Moreover, we present a case study quantifying and formalizing the trade-offs of typical non-idealities introduced into 1-Transistor-1-Resistor (1T1R) tiled memristive architectures and the size of modular crossbar tiles using the CIFAR-10 dataset.
• Abstract（参考訳）: 混合信号抵抗ランダムアクセスメモリ(RRAM)アクセラレーターにおけるデバイスと回路レベルの影響は、一般的にディープラーニング(DL)アルゴリズムのパフォーマンス劣化として現れるが、影響の程度はアルゴリズムの特徴によって異なる。 これにはネットワークアーキテクチャ、キャパシティ、重量分布、層間接続の種類が含まれる。 スパースニューラルネットワークを効率的に訓練する技術は、アクティベーション空間、量子化、メムリシブノイズを持つ可能性がある。 本稿では,多種多様なネットワークアーキテクチャにおける密接かつスパースなマッピングスキームの利点と限界を定量化するための拡張設計空間探索(dse)手法を提案する。 接続性は電力消費を減らし、ローカライズされた特徴の抽出に最適化されることが多いが、階層化RRAMアレイの性能は高密度マッピング方式と比較して過度なパラメータ化によるノイズの影響を受けやすい。 さらに,CIFAR-10データセットを用いて,1-Transistor-1-Resistor (1T1R)タイルによる典型的な非イデアルのトレードオフの定量化と定式化を行う。

関連論文リスト

• Neuromorphic Circuit Simulation with Memristors: Design and Evaluation Using MemTorch for MNIST and CIFAR [0.4077787659104315]
  本研究は,3つのデジタル畳み込みニューラルネットワークを構築し,訓練することにより,メモリ内処理にmemristorsを用いることの可能性を評価する。 これらのネットワークをmemtorchシステムに変換する。 シミュレーションは理想的な条件下で行われ、推論中に最小1%の精度の損失が得られた。
  論文  参考訳（メタデータ） (2024-07-18T11:30:33Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Multi-Dimensional Refinement Graph Convolutional Network with Robust Decouple Loss for Fine-Grained Skeleton-Based Action Recognition [19.031036881780107]
  本稿では,CVSTA(Channel-Variable Space-Temporal Attention)と呼ばれるフレキシブルアテンションブロックを提案する。 CVSTAに基づくMDR-GCN(Multi-dimensional Refinement Graph Convolutional Network)を構築し,チャネルレベル,ジョイントレベル,フレームレベルの特徴の識別を改善する。 さらに,CVSTAの効果を著しく向上し,騒音の影響を低減させるロバスト・デデュプル・ロス(RDL)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T09:23:36Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification [3.3711251611130337]
  エネルギー消費を低減し、Long Short-Term Memory (LSTM) ニューラルネットワークアクセラレータの速度を改善するためのハードウェアフレンドリーなプランニングアルゴリズムを提示する。 その結果、提案された加速器は最大272%の有効GOPS/Wを提供することができ、パープレキシティエラーはPTBデータセットの1.4%まで低減される。
  論文  参考訳（メタデータ） (2021-01-07T18:23:48Z)
• Wide-band butterfly network: stable and efficient inversion via multi-frequency neural networks [1.2891210250935143]
  広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。 このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
  論文  参考訳（メタデータ） (2020-11-24T21:48:43Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。