論文の概要: Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML
Prefetcher for Accelerating Graph Analytics
- arxiv url: http://arxiv.org/abs/2212.05250v1
- Date: Sat, 10 Dec 2022 09:14:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 18:07:18.271159
- Title: Phases, Modalities, Temporal and Spatial Locality: Domain Specific ML
Prefetcher for Accelerating Graph Analytics
- Title（参考訳）: 位相、モーダリティ、時間的および空間的局所性:グラフ分析の高速化のためのドメイン固有mlプリフェッチャー
- Authors: Pengmiao Zhang, Rajgopal Kannan, Viktor K. Prasanna
- Abstract要約: MPGraphは、グラフ分析のドメイン知識に基づいて、3つの新しい最適化を行っている。
新たなソフト検出技術を用いて,実行中のグラフ処理フェーズの遷移を検出する。
位相特異的な多モード予測器を用いてメモリアクセスとページを予測し、新しいチェーン処理時プレフェッチ戦略を用いてプレフィックスを行う。
- 参考スコア（独自算出の注目度）: 7.631596468553607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph processing applications are severely bottlenecked by memory system
performance due to low data reuse and irregular memory accesses. While
state-of-the-art prefetchers using Machine Learning (ML) have made great
progress, they do not perform well on graph analytics applications due to phase
transitions in the execution and irregular data access that is hard to predict.
We propose MPGraph: a novel ML-based Prefetcher for Graph analytics. MPGraph
makes three novel optimizations based on domain knowledge of graph analytics.
It detects the transition of graph processing phases during execution using a
novel soft detection technique, predicts memory accesses and pages using
phase-specific multi-modality predictors, and prefetches using a novel chain
spatio-temporal prefetching strategy. We evaluate our approach using three
widely-used graph processing frameworks and a variety of graph datasets. Our
approach achieves 34.17%-82.15% higher precision in phase transition detection
than the KSWIN and decision tree baselines. Our predictors achieve 6.80%-16.02%
higher F1-score for access prediction and 11.68%-15.41% higher accuracy-at-10
for page prediction compared with the baselines LSTM-based and vanilla
attention-based models. Simulations show that MPGraph achieves on the average
87.16% (prefetch accuracy) and 73.29% (prefetch coverage), leading to
12.52%-21.23% IPC improvement. It outperforms the widely-used non-ML prefetcher
BO by 7.58%-12.03%, and outperforms state-of-the-art ML-based prefetchers
Voyager by 3.27%-4.42% and TransFetch by 3.73%-4.58% with respect to IPC
improvement.
- Abstract（参考訳）: グラフ処理アプリケーションは、低データの再利用と不規則なメモリアクセスのため、メモリシステムの性能が著しく低下する。
機械学習(ML)を用いた最先端のプリフェッチは大きな進歩を遂げているが、実行中のフェーズ遷移と予測が難しい不規則なデータアクセスのため、グラフ分析アプリケーションではうまく機能しない。
グラフ分析のためのMLベースの新しいPrefetcherであるMPGraphを提案する。
mpgraphは、グラフ分析のドメイン知識に基づいて、3つの新しい最適化を行います。
新たなソフト検出技術を用いて実行中のグラフ処理フェーズの遷移を検出し、位相特異的な多モード予測器を用いてメモリアクセスとページを予測し、新しいチェーン時空間プリフェッチ戦略を用いてプレフェッチを行う。
我々は3つの広く使われているグラフ処理フレームワークと様々なグラフデータセットを用いてアプローチを評価する。
提案手法はKSWINと決定木ベースラインよりも34.17%-82.15%高い位相遷移検出精度を実現する。
我々の予測器はアクセス予測のF1スコアが6.80%-16.02%、ページ予測の精度が11.68%-15.41%である。
シミュレーションの結果、mpgraphは平均87.16%(プリフェッチ精度)と73.29%(プリフェッチカバレッジ)を達成し、12.52%-21.23%のipc改善をもたらした。
広く使われている非MLプレファーBOの7.58%-12.03%、最先端のMLベースのプレフェッチ・ボイジャーの3.27%-4.42%、トランスフェッチの3.73%-4.58%を上回っている。
関連論文リスト
- PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。
PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。
合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-07T03:52:06Z) - ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。
ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。
エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。
より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
論文 参考訳（メタデータ） (2024-03-22T07:32:21Z) - Attention, Distillation, and Tabularization: Towards Practical Neural
Network-Based Prefetching [6.692695353937492]
本稿では,予測精度を犠牲にすることなく,モデル複雑性と推論遅延を大幅に低減する手法を提案する。
そこで我々は,テーブルの単純な階層構造からなるプレフェッチャーであるDARTを開発した。
DARTは最先端のNNベースのPrefetchers TransFetchを33.1%、Voyagerを37.2%上回っている。
論文 参考訳（メタデータ） (2023-12-23T05:46:05Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳（メタデータ） (2022-11-22T15:14:20Z) - Fine-Grained Address Segmentation for Attention-Based Variable-Degree
Prefetching [10.128730975303407]
プレフェッチをモデル化する新しい方法であるTransFetchを提案する。
語彙サイズを小さくするために、細粒度アドレス分割を入力として使用する。
将来のアドレスの順序のない集合を予測するために、複数の出力にデルタビットマップを使用する。
論文 参考訳（メタデータ） (2022-05-01T05:30:37Z) - PP-PicoDet: A Better Real-Time Object Detector on Mobile Devices [13.62426382827205]
実時間物体検出器のPP-PicoDetファミリは,モバイルデバイスの物体検出において優れた性能を発揮する。
モデルは、他の一般的なモデルと比較して、精度とレイテンシのトレードオフを改善する。
論文 参考訳（メタデータ） (2021-11-01T12:53:17Z) - Multiscale Spatio-Temporal Graph Neural Networks for 3D Skeleton-Based
Motion Prediction [92.16318571149553]
本稿では,次世代の3次元骨格型人間のポーズを予測するため,マルチスケール・テンポラルグラフニューラルネットワーク(MST-GNN)を提案する。
MST-GNNは、短期および長期の動作予測において最先端の手法より優れている。
論文 参考訳（メタデータ） (2021-08-25T14:05:37Z) - A contextual analysis of multi-layer perceptron models in classifying
hand-written digits and letters: limited resources [0.0]
我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。
基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2021-07-05T04:30:37Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳（メタデータ） (2020-06-15T16:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。