論文の概要: MUSTACHE: Multi-Step-Ahead Predictions for Cache Eviction

• arxiv url: http://arxiv.org/abs/2211.02177v1
• Date: Thu, 3 Nov 2022 23:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 17:28:25.380814
• Title: MUSTACHE: Multi-Step-Ahead Predictions for Cache Eviction
• Title（参考訳）: MUSTACHE:キャッシュ消去のためのマルチステップ予測
• Authors: Gabriele Tolomei and Lorenzo Takanen and Fabio Pinelli
• Abstract要約: MUSTACHEは、既存のポリシーのように修正されるのではなく、観測されたメモリアクセス要求からロジックを学ぶ新しいページキャッシュ置換である。 本稿では,ページ要求予測問題をカテゴリー時系列予測タスクとして定式化する。 提案手法では,学習したページ要求予測器に次の$k$のページメモリ参照を問い合わせ,最適なB'el'adyの置換アルゴリズムをよりよく近似する。
• 参考スコア（独自算出の注目度）: 0.709016563801433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose MUSTACHE, a new page cache replacement algorithm whose logic is learned from observed memory access requests rather than fixed like existing policies. We formulate the page request prediction problem as a categorical time series forecasting task. Then, our method queries the learned page request forecaster to obtain the next $k$ predicted page memory references to better approximate the optimal B\'el\'ady's replacement algorithm. We implement several forecasting techniques using advanced deep learning architectures and integrate the best-performing one into an existing open-source cache simulator. Experiments run on benchmark datasets show that MUSTACHE outperforms the best page replacement heuristic (i.e., exact LRU), improving the cache hit ratio by 1.9% and reducing the number of reads/writes required to handle cache misses by 18.4% and 10.3%.
• Abstract（参考訳）: 本研究では,既存のポリシーのように修正されるのではなく,観測されたメモリアクセス要求から論理を学習する新しいページキャッシュ置換アルゴリズムMUSTACHEを提案する。 ページリクエスト予測問題をカテゴリー時系列予測タスクとして定式化する。 次に、学習したページ要求予測器に次の$k$のページメモリ参照を求め、最適なB\'el\'adyの置換アルゴリズムをよりよく近似する。 先進的なディープラーニングアーキテクチャを用いて予測手法を実装し,最高の性能を既存のオープンソースキャッシュシミュレータに統合する。 ベンチマークデータセットを用いた実験では、MUSTACHEはページ置換ヒューリスティック(正確にはLRU)よりも優れており、キャッシュヒット率を1.9%改善し、キャッシュミスを処理するのに必要な読み取り/書き込み数を18.4%と10.3%削減している。

関連論文リスト

• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Efficient Prompt Caching via Embedding Similarity [26.456212783693545]
  類似度を埋め込んだ単ラウンド質問問合せタスクにおけるプロンプトキャッシングの予測精度に着目した。 そこで本研究では, 蒸留法を用いて既存の埋込物を微調整し, より良い予測を行う方法を提案する。 また、トレーニングされたモデルが従来の埋め込みモデルよりもキャッシング効率が良いことを示すシミュレーションも行います。
  論文  参考訳（メタデータ） (2024-02-02T06:34:11Z)
• TransforMAP: Transformer for Memory Access Prediction [10.128730975303407]
  データプリフェッチ(Data Prefetching)は、プログラムが必要とするデータを取得することで、メモリ遅延を隠蔽するテクニックである。 アドレス空間全体から学習できる強力なTransformerモデルに基づいてTransforMAPを開発した。 我々は,最先端の捕食者やISB捕食者よりも高い35.67%のMPKI改善が達成されていることを示す。
  論文  参考訳（メタデータ） (2022-05-29T22:14:38Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)
• ARCH: Efficient Adversarial Regularized Training with Caching [91.74682538906691]
  逆正則化は、多くの自然言語処理タスクにおけるモデル一般化を改善することができる。 本稿では,複数のエポック毎に摂動を発生・キャッシュする新たな逆正則化手法ARCHを提案する。 提案手法をニューラルネットワーク翻訳と自然言語理解タスクのセットで評価する。
  論文  参考訳（メタデータ） (2021-09-15T02:05:37Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Learning Forward Reuse Distance [1.8777512961936749]
  近年のディープラーニング技術の進歩は、新しいインテリジェントキャッシュ置換ポリシーの設計を可能にする。 LSTMに基づく強力なリカレントニューラルネットワークモデルにより,キャッシュトレースのみを入力として,高い予測精度が得られることがわかった。 その結果、新しいキャッシュポリシは、最先端の実用的なポリシを19.2%改善し、平均してOPTよりも2.3%高いミス比しか発生しないことが示された。
  論文  参考訳（メタデータ） (2020-07-31T05:57:50Z)
• Change Rate Estimation and Optimal Freshness in Web Page Crawling [2.4923006485141284]
  有限帯域幅の可用性とサーバの制限は クローリング周波数にいくつかの制約を課します 理想的なクローリングレートは、ローカルキャッシュの鮮度を最大化するものである。 ページ変更率のオンライン推定のための2つの新しいスキームを提供する。
  論文  参考訳（メタデータ） (2020-04-05T11:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。