論文の概要: TransforMAP: Transformer for Memory Access Prediction

• arxiv url: http://arxiv.org/abs/2205.14778v1
• Date: Sun, 29 May 2022 22:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 18:50:11.237859
• Title: TransforMAP: Transformer for Memory Access Prediction
• Title（参考訳）: TransforMAP: メモリアクセス予測のためのトランスフォーマー
• Authors: Pengmiao Zhang, Ajitesh Srivastava, Anant V. Nori, Rajgopal Kannan, Viktor K. Prasanna
• Abstract要約: データプリフェッチ(Data Prefetching)は、プログラムが必要とするデータを取得することで、メモリ遅延を隠蔽するテクニックである。 アドレス空間全体から学習できる強力なTransformerモデルに基づいてTransforMAPを開発した。 我々は,最先端の捕食者やISB捕食者よりも高い35.67%のMPKI改善が達成されていることを示す。
• 参考スコア（独自算出の注目度）: 10.128730975303407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data Prefetching is a technique that can hide memory latency by fetching data before it is needed by a program. Prefetching relies on accurate memory access prediction, to which task machine learning based methods are increasingly applied. Unlike previous approaches that learn from deltas or offsets and perform one access prediction, we develop TransforMAP, based on the powerful Transformer model, that can learn from the whole address space and perform multiple cache line predictions. We propose to use the binary of memory addresses as model input, which avoids information loss and saves a token table in hardware. We design a block index bitmap to collect unordered future page offsets under the current page address as learning labels. As a result, our model can learn temporal patterns as well as spatial patterns within a page. In a practical implementation, this approach has the potential to hide prediction latency because it prefetches multiple cache lines likely to be used in a long horizon. We show that our approach achieves 35.67% MPKI improvement and 20.55% IPC improvement in simulation, higher than state-of-the-art Best-Offset prefetcher and ISB prefetcher.
• Abstract（参考訳）: データプリフェッチ(data prefetching)は、プログラムが必要となる前にデータをフェッチすることでメモリ遅延を隠蔽するテクニックである。 Prefetchingは正確なメモリアクセス予測に依存しており、タスク機械学習ベースのメソッドがますます適用される。 デルタやオフセットから学習し、1つのアクセス予測を行う従来のアプローチとは異なり、アドレス空間全体から学習し、複数のキャッシュライン予測を実行する強力なTransformerモデルに基づいてTransforMAPを開発する。 本稿では,メモリアドレスのバイナリをモデル入力として使用することを提案する。 ブロックインデックスビットマップを設計し、現在のページアドレスの下で未順序のページオフセットを学習ラベルとして収集する。 その結果,本モデルでは,ページ内で時間パターンや空間パターンを学習することができる。 現実的な実装では、複数のキャッシュラインが長い水平線で使用される可能性があるため、予測遅延を隠蔽する可能性がある。 提案手法は,最新のBest-Offset prefetcherおよびISB prefetcherよりも高い35.67%のMPKI改善と20.55%のIPC改善を実現している。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• MUSTACHE: Multi-Step-Ahead Predictions for Cache Eviction [0.709016563801433]
  MUSTACHEは、既存のポリシーのように修正されるのではなく、観測されたメモリアクセス要求からロジックを学ぶ新しいページキャッシュ置換である。 本稿では,ページ要求予測問題をカテゴリー時系列予測タスクとして定式化する。 提案手法では,学習したページ要求予測器に次の$k$のページメモリ参照を問い合わせ,最適なB'el'adyの置換アルゴリズムをよりよく近似する。
  論文  参考訳（メタデータ） (2022-11-03T23:10:21Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Fine-Grained Address Segmentation for Attention-Based Variable-Degree Prefetching [10.128730975303407]
  プレフェッチをモデル化する新しい方法であるTransFetchを提案する。 語彙サイズを小さくするために、細粒度アドレス分割を入力として使用する。 将来のアドレスの順序のない集合を予測するために、複数の出力にデルタビットマップを使用する。
  論文  参考訳（メタデータ） (2022-05-01T05:30:37Z)
• Remember Intentions: Retrospective-Memory-based Trajectory Prediction [31.25007169374468]
  本稿では,エージェントの動作意図を予測するインスタンスベースのアプローチであるMemoNetを提案する。 実験の結果、提案されたMemoNetは以前のSDD/ETH-UCY/NBAデータセットのベストメソッドから20.3%/10.2%/28.3%改善している。
  論文  参考訳（メタデータ） (2022-03-22T05:59:33Z)
• MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction [26.151761714896118]
  メモリ拡張ニューラルネットワークを用いたマルチモーダル軌道予測の問題に対処する。 提案手法は、繰り返しニューラルネットワークを用いて過去と将来の軌道埋め込みを学習し、関連性のある外部メモリを活用して、そのような埋め込みを保存・取得する。 次に、観測過去の条件付きメモリ内未来の符号化を復号して軌道予測を行う。
  論文  参考訳（メタデータ） (2020-06-05T09:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。