論文の概要: TransforMAP: Transformer for Memory Access Prediction
- arxiv url: http://arxiv.org/abs/2205.14778v1
- Date: Sun, 29 May 2022 22:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 18:50:11.237859
- Title: TransforMAP: Transformer for Memory Access Prediction
- Title(参考訳): TransforMAP: メモリアクセス予測のためのトランスフォーマー
- Authors: Pengmiao Zhang, Ajitesh Srivastava, Anant V. Nori, Rajgopal Kannan,
Viktor K. Prasanna
- Abstract要約: データプリフェッチ(Data Prefetching)は、プログラムが必要とするデータを取得することで、メモリ遅延を隠蔽するテクニックである。
アドレス空間全体から学習できる強力なTransformerモデルに基づいてTransforMAPを開発した。
我々は,最先端の捕食者やISB捕食者よりも高い35.67%のMPKI改善が達成されていることを示す。
- 参考スコア(独自算出の注目度): 10.128730975303407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data Prefetching is a technique that can hide memory latency by fetching data
before it is needed by a program. Prefetching relies on accurate memory access
prediction, to which task machine learning based methods are increasingly
applied. Unlike previous approaches that learn from deltas or offsets and
perform one access prediction, we develop TransforMAP, based on the powerful
Transformer model, that can learn from the whole address space and perform
multiple cache line predictions. We propose to use the binary of memory
addresses as model input, which avoids information loss and saves a token table
in hardware. We design a block index bitmap to collect unordered future page
offsets under the current page address as learning labels. As a result, our
model can learn temporal patterns as well as spatial patterns within a page. In
a practical implementation, this approach has the potential to hide prediction
latency because it prefetches multiple cache lines likely to be used in a long
horizon. We show that our approach achieves 35.67% MPKI improvement and 20.55%
IPC improvement in simulation, higher than state-of-the-art Best-Offset
prefetcher and ISB prefetcher.
- Abstract(参考訳): データプリフェッチ(data prefetching)は、プログラムが必要となる前にデータをフェッチすることでメモリ遅延を隠蔽するテクニックである。
Prefetchingは正確なメモリアクセス予測に依存しており、タスク機械学習ベースのメソッドがますます適用される。
デルタやオフセットから学習し、1つのアクセス予測を行う従来のアプローチとは異なり、アドレス空間全体から学習し、複数のキャッシュライン予測を実行する強力なTransformerモデルに基づいてTransforMAPを開発する。
本稿では,メモリアドレスのバイナリをモデル入力として使用することを提案する。
ブロックインデックスビットマップを設計し、現在のページアドレスの下で未順序のページオフセットを学習ラベルとして収集する。
その結果,本モデルでは,ページ内で時間パターンや空間パターンを学習することができる。
現実的な実装では、複数のキャッシュラインが長い水平線で使用される可能性があるため、予測遅延を隠蔽する可能性がある。
提案手法は,最新のBest-Offset prefetcherおよびISB prefetcherよりも高い35.67%のMPKI改善と20.55%のIPC改善を実現している。
関連論文リスト
- Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。
本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
論文 参考訳(メタデータ) (2023-08-15T17:34:54Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Rediscovering Hashed Random Projections for Efficient Quantization of
Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。
データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。
ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。
組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文 参考訳(メタデータ) (2023-03-13T10:53:00Z) - Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。
勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。
我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-12-16T11:15:39Z) - MUSTACHE: Multi-Step-Ahead Predictions for Cache Eviction [0.709016563801433]
MUSTACHEは、既存のポリシーのように修正されるのではなく、観測されたメモリアクセス要求からロジックを学ぶ新しいページキャッシュ置換である。
本稿では,ページ要求予測問題をカテゴリー時系列予測タスクとして定式化する。
提案手法では,学習したページ要求予測器に次の$k$のページメモリ参照を問い合わせ,最適なB'el'adyの置換アルゴリズムをよりよく近似する。
論文 参考訳(メタデータ) (2022-11-03T23:10:21Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Fine-Grained Address Segmentation for Attention-Based Variable-Degree
Prefetching [10.128730975303407]
プレフェッチをモデル化する新しい方法であるTransFetchを提案する。
語彙サイズを小さくするために、細粒度アドレス分割を入力として使用する。
将来のアドレスの順序のない集合を予測するために、複数の出力にデルタビットマップを使用する。
論文 参考訳(メタデータ) (2022-05-01T05:30:37Z) - Remember Intentions: Retrospective-Memory-based Trajectory Prediction [31.25007169374468]
本稿では,エージェントの動作意図を予測するインスタンスベースのアプローチであるMemoNetを提案する。
実験の結果、提案されたMemoNetは以前のSDD/ETH-UCY/NBAデータセットのベストメソッドから20.3%/10.2%/28.3%改善している。
論文 参考訳(メタデータ) (2022-03-22T05:59:33Z) - MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction [26.151761714896118]
メモリ拡張ニューラルネットワークを用いたマルチモーダル軌道予測の問題に対処する。
提案手法は、繰り返しニューラルネットワークを用いて過去と将来の軌道埋め込みを学習し、関連性のある外部メモリを活用して、そのような埋め込みを保存・取得する。
次に、観測過去の条件付きメモリ内未来の符号化を復号して軌道予測を行う。
論文 参考訳(メタデータ) (2020-06-05T09:49:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。