Fugu-MT 論文翻訳(概要): Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML Prefetcher for Accelerating Graph Analytics

論文の概要: Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML Prefetcher for Accelerating Graph Analytics

arxiv url: http://arxiv.org/abs/2212.05250v2
Date: Mon, 25 Sep 2023 00:30:09 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 04:21:04.961378
Title: Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML Prefetcher for Accelerating Graph Analytics
Title（参考訳）: 位相、モーダリティ、時間的および空間的局所性:グラフ分析の高速化のためのドメイン固有mlプリフェッチャー
Authors: Pengmiao Zhang, Rajgopal Kannan, Viktor K. Prasanna
Abstract要約: ドメイン固有モデルを用いたグラフ解析のためのMLベースのPrefetcherであるMPGraphを提案する。 MPGraphの新しい3つの最適化: 位相遷移のソフト検出、アクセスと時間前処理のための位相固有多モードモデル。 CSTを使用すると、MPGraphは12.52-21.23%のIPC改善を実現し、最先端の非MLプレフェッチャーBOを7.5-12.03%、MLベースのプレフェッチーVoyagerとTransFetchを3.27-4.58%上回った。
参考スコア（独自算出の注目度）: 7.52191887022819
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Memory performance is a bottleneck in graph analytics acceleration. Existing Machine Learning (ML) prefetchers struggle with phase transitions and irregular memory accesses in graph processing. We propose MPGraph, an ML-based Prefetcher for Graph analytics using domain specific models. MPGraph introduces three novel optimizations: soft detection for phase transitions, phase-specific multi-modality models for access delta and page predictions, and chain spatio-temporal prefetching (CSTP) for prefetch control. Our transition detector achieves 34.17-82.15% higher precision compared with Kolmogorov-Smirnov Windowing and decision tree. Our predictors achieve 6.80-16.02% higher F1-score for delta and 11.68-15.41% higher accuracy-at-10 for page prediction compared with LSTM and vanilla attention models. Using CSTP, MPGraph achieves 12.52-21.23% IPC improvement, outperforming state-of-the-art non-ML prefetcher BO by 7.58-12.03% and ML-based prefetchers Voyager and TransFetch by 3.27-4.58%. For practical implementation, we demonstrate MPGraph using compressed models with reduced latency shows significantly superior accuracy and coverage compared with BO, leading to 3.58% higher IPC improvement.
Abstract（参考訳）: メモリパフォーマンスは、グラフ分析アクセラレーションのボトルネックである。既存の機械学習(ml)プリフェッチは、グラフ処理における相転移と不規則なメモリアクセスに苦しむ。ドメイン固有モデルを用いたグラフ解析のためのMLベースのPrefetcherであるMPGraphを提案する。 MPGraphは、位相遷移のソフト検出、アクセスデルタとページ予測のためのフェーズ固有多モードモデル、プリフェッチ制御のためのチェーン時空間プレフェッチ(CSTP)という3つの新しい最適化を導入している。遷移検出器はコルモゴロフ-スミルノフウィンドウと決定木と比較して34.17-82.15%高い精度を達成した。我々の予測器は、デルタのF1スコアが6.80-16.02%高く、ページ予測の精度が11.68-15.41%高い。 CSTPを使用して、MPGraphは12.52-21.23%のIPC改善を実現し、最先端の非MLプレフェッチャーBOを7.58-12.03%、MLベースのプレフェッシャーVoyagerとTransFetchを3.27-4.58%上回った。実際の実装では,圧縮モデルを用いたMPGraphの低レイテンシ化により,BOに比べて精度とカバレッジが著しく向上し,IPCの改善率が3.58%向上した。

関連論文リスト

PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。 PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-10-07T03:52:06Z)
ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。 ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
論文参考訳（メタデータ） (2024-03-22T07:32:21Z)
Attention, Distillation, and Tabularization: Towards Practical Neural Network-Based Prefetching [6.692695353937492]
本稿では,予測精度を犠牲にすることなく,モデル複雑性と推論遅延を大幅に低減する手法を提案する。そこで我々は,テーブルの単純な階層構造からなるプレフェッチャーであるDARTを開発した。 DARTは最先端のNNベースのPrefetchers TransFetchを33.1%、Voyagerを37.2%上回っている。
論文参考訳（メタデータ） (2023-12-23T05:46:05Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
Pushing the Limits of Asynchronous Graph-based Object Detection with Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文参考訳（メタデータ） (2022-11-22T15:14:20Z)
Fine-Grained Address Segmentation for Attention-Based Variable-Degree Prefetching [10.128730975303407]
プレフェッチをモデル化する新しい方法であるTransFetchを提案する。語彙サイズを小さくするために、細粒度アドレス分割を入力として使用する。将来のアドレスの順序のない集合を予測するために、複数の出力にデルタビットマップを使用する。
論文参考訳（メタデータ） (2022-05-01T05:30:37Z)
PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices [13.62426382827205]
実時間物体検出器のPP-PicoDetファミリは,モバイルデバイスの物体検出において優れた性能を発揮する。モデルは、他の一般的なモデルと比較して、精度とレイテンシのトレードオフを改善する。
論文参考訳（メタデータ） (2021-11-01T12:53:17Z)
Multiscale Spatio-Temporal Graph Neural Networks for 3D Skeleton-Based Motion Prediction [92.16318571149553]
本稿では,次世代の3次元骨格型人間のポーズを予測するため,マルチスケール・テンポラルグラフニューラルネットワーク(MST-GNN)を提案する。 MST-GNNは、短期および長期の動作予測において最先端の手法より優れている。
論文参考訳（メタデータ） (2021-08-25T14:05:37Z)
A contextual analysis of multi-layer perceptron models in classifying hand-written digits and letters: limited resources [0.0]
我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2021-07-05T04:30:37Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。