論文の概要: Reconfigurable Low-latency Memory System for Sparse Matricized Tensor
Times Khatri-Rao Product on FPGA
- arxiv url: http://arxiv.org/abs/2109.08874v1
- Date: Sat, 18 Sep 2021 08:19:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:08:42.519594
- Title: Reconfigurable Low-latency Memory System for Sparse Matricized Tensor
Times Khatri-Rao Product on FPGA
- Title(参考訳): FPGA上のスパーステンソル時間カトリラオ生成のための再構成可能な低レイテンシメモリシステム
- Authors: Sasindu Wijeratne, Rajgopal Kannan, Viktor Prasanna
- Abstract要約: Sparse Matricized Times Khatri-Rao Product (MTTKRP) はテンソル計算において最も高価なカーネルの一つである。
本稿では,MTTKRPのデータ構造の空間的および時間的局所性を探索する多面記憶システムについて述べる。
本システムでは,キャッシュオンリーとDMAオンリーのメモリシステムと比較して,2倍,1.26倍の高速化を実現している。
- 参考スコア(独自算出の注目度): 3.4870723728779565
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Tensor decomposition has become an essential tool in many applications in
various domains, including machine learning. Sparse Matricized Tensor Times
Khatri-Rao Product (MTTKRP) is one of the most computationally expensive
kernels in tensor computations. Despite having significant computational
parallelism, MTTKRP is a challenging kernel to optimize due to its irregular
memory access characteristics. This paper focuses on a multi-faceted memory
system, which explores the spatial and temporal locality of the data structures
of MTTKRP. Further, users can reconfigure our design depending on the behavior
of the compute units used in the FPGA accelerator. Our system efficiently
accesses all the MTTKRP data structures while reducing the total memory access
time, using a distributed cache and Direct Memory Access (DMA) subsystem.
Moreover, our work improves the memory access time by 3.5x compared with
commercial memory controller IPs. Also, our system shows 2x and 1.26x speedups
compared with cache-only and DMA-only memory systems, respectively.
- Abstract(参考訳): テンソル分解は、機械学習を含む様々な分野の多くのアプリケーションで必須のツールとなっている。
Sparse Matricized Tensor Times Khatri-Rao Product (MTTKRP) はテンソル計算において最も計算コストのかかるカーネルの1つである。
MTTKRPは計算並列性が高いにもかかわらず、不規則なメモリアクセス特性のため最適化が難しいカーネルである。
本稿では,MTTKRPのデータ構造の空間的および時間的局所性を探索する多面記憶システムについて述べる。
さらに、FPGAアクセラレータで使用される計算ユニットの動作に応じて、設計を再構成することができる。
分散キャッシュとdma(direct memory access)サブシステムを用いて,全メモリアクセス時間を短縮しつつ,mttkrpデータ構造を効率的にアクセスする。
さらに,商用メモリコントローラIPと比較してメモリアクセス時間を3.5倍改善する。
また,キャッシュオンリーとDMAオンリーのメモリシステムと比較して2倍,1.26倍の高速化を実現している。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文 参考訳(メタデータ) (2023-04-25T05:44:50Z) - Pex: Memory-efficient Microcontroller Deep Learning through Partial
Execution [11.336229510791481]
マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。
ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。
これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
論文 参考訳(メタデータ) (2022-11-30T18:47:30Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Towards Programmable Memory Controller for Tensor Decomposition [2.6782615615913348]
Sparse Matricized Times Khatri-Rao Product (MTTKRP) はテンソル分解アルゴリズムにおける重要なカーネルである。
本稿では, MTTKRP 用FPGA 上でのカスタムメモリコントローラ設計の機会, 課題, アプローチについて検討する。
論文 参考訳(メタデータ) (2022-07-17T21:32:05Z) - Machine Learning Training on a Real Processing-in-Memory System [9.286176889576996]
機械学習アルゴリズムのトレーニングは計算集約的なプロセスであり、しばしばメモリバウンドである。
メモリ内処理機能を備えたメモリ中心のコンピューティングシステムは、このデータ移動ボトルネックを軽減することができる。
我々の研究は、現実世界の汎用PIMアーキテクチャ上で機械学習アルゴリズムのトレーニングを評価する最初のものである。
論文 参考訳(メタデータ) (2022-06-13T10:20:23Z) - Recurrent Dynamic Embedding for Video Object Segmentation [54.52527157232795]
一定サイズのメモリバンクを構築するためにRDE(Recurrent Dynamic Embedding)を提案する。
本稿では, SAM を長時間の動画でより堅牢にするため, トレーニング段階での無バイアス誘導損失を提案する。
また、メモリバンクの異なる品質のマスクの埋め込みをネットワークが修復できるように、新たな自己補正戦略を設計する。
論文 参考訳(メタデータ) (2022-05-08T02:24:43Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳(メタデータ) (2022-01-03T02:32:06Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Programmable FPGA-based Memory Controller [9.013666207570749]
本稿では,利用可能なハードウェアリソース上の異なるターゲットアプリケーションに対して,モジュール型でプログラム可能なメモリコントローラを提案する。
提案したメモリコントローラは、キャッシュラインアクセスとバルクメモリ転送を効率的にサポートする。
商用メモリコントローラIPと比較して,CNNおよびGCNワークロードのメモリアクセス時間は最大58%向上した。
論文 参考訳(メタデータ) (2021-08-21T23:53:12Z) - PIM-DRAM:Accelerating Machine Learning Workloads using Processing in
Memory based on DRAM Technology [2.6168147530506958]
MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。
提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
論文 参考訳(メタデータ) (2021-05-08T16:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。