論文の概要: An Imitation Learning Approach for Cache Replacement
- arxiv url: http://arxiv.org/abs/2006.16239v2
- Date: Thu, 9 Jul 2020 21:13:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:22:38.195088
- Title: An Imitation Learning Approach for Cache Replacement
- Title(参考訳): キャッシュ置換のための模倣学習手法
- Authors: Evan Zheran Liu, Milad Hashemi, Kevin Swersky, Parthasarathy
Ranganathan, Junwhan Ahn
- Abstract要約: キャッシュアクセスパターンを自動的に学習するための模倣学習手法を提案する。
我々は過去のアクセスのみに条件付きポリシーを訓練し、多様な複雑なアクセスパターンでもベラディの情報を正確に近似する。
Parrotは、現在の最先端よりもキャッシュミス率を20%向上させる。
- 参考スコア(独自算出の注目度): 23.03767134871606
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Program execution speed critically depends on increasing cache hits, as cache
hits are orders of magnitude faster than misses. To increase cache hits, we
focus on the problem of cache replacement: choosing which cache line to evict
upon inserting a new line. This is challenging because it requires planning far
ahead and currently there is no known practical solution. As a result, current
replacement policies typically resort to heuristics designed for specific
common access patterns, which fail on more diverse and complex access patterns.
In contrast, we propose an imitation learning approach to automatically learn
cache access patterns by leveraging Belady's, an oracle policy that computes
the optimal eviction decision given the future cache accesses. While directly
applying Belady's is infeasible since the future is unknown, we train a policy
conditioned only on past accesses that accurately approximates Belady's even on
diverse and complex access patterns, and call this approach Parrot. When
evaluated on 13 of the most memory-intensive SPEC applications, Parrot
increases cache miss rates by 20% over the current state of the art. In
addition, on a large-scale web search benchmark, Parrot increases cache hit
rates by 61% over a conventional LRU policy. We release a Gym environment to
facilitate research in this area, as data is plentiful, and further
advancements can have significant real-world impact.
- Abstract(参考訳): プログラムの実行速度はキャッシュヒットの増加に大きく依存する。
キャッシュヒットを増やすため、キャッシュ置換の問題に焦点をあて、新しい行を挿入すると、どのキャッシュラインを削除すべきかという問題に焦点をあてる。
これまでの計画が必要であり、現在、既知の実用的な解決策がないため、これは難しいことです。
その結果、現在の代替ポリシーは、特定の共通アクセスパターン用に設計されたヒューリスティックスに依存しており、より多様で複雑なアクセスパターンに失敗する。
これとは対照的に,将来のキャッシュアクセスに対して最適な消去決定を演算するオラクルポリシーであるBeladyを利用して,キャッシュアクセスパターンを自動的に学習する模倣学習手法を提案する。
ベラーディの直接適用は、未来が不明なため不可能であるが、過去のアクセスのみを条件とした政策を訓練し、多様な複雑なアクセスパターンにも正確に近似し、このアプローチをParrotと呼ぶ。
最もメモリ集約的なSPECアプリケーションの13で評価すると、Parrotは現在の技術よりもキャッシュミス率を20%向上させる。
さらに、大規模なWeb検索ベンチマークでは、従来のLRUポリシーよりもキャッシュヒット率を61%向上させる。
データは豊富であり、さらなる進歩は現実世界に大きな影響を与える可能性があるので、この分野の研究を促進するためのジム環境をリリースします。
関連論文リスト
- Get More with LESS: Synthesizing Recurrence with KV Cache Compression
for Efficient LLM Inference [83.34219335496073]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z) - A Learning-Based Caching Mechanism for Edge Content Delivery [2.7110241847592915]
5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。
このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。
HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
論文 参考訳(メタデータ) (2024-02-05T08:06:03Z) - MUSTACHE: Multi-Step-Ahead Predictions for Cache Eviction [0.709016563801433]
MUSTACHEは、既存のポリシーのように修正されるのではなく、観測されたメモリアクセス要求からロジックを学ぶ新しいページキャッシュ置換である。
本稿では,ページ要求予測問題をカテゴリー時系列予測タスクとして定式化する。
提案手法では,学習したページ要求予測器に次の$k$のページメモリ参照を問い合わせ,最適なB'el'adyの置換アルゴリズムをよりよく近似する。
論文 参考訳(メタデータ) (2022-11-03T23:10:21Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z) - Optimistic No-regret Algorithms for Discrete Caching [6.182368229968862]
楽観的な学習の文脈において,ファイル全体を限られた容量でキャッシュに格納するという問題を体系的に検討する。
予測支援オンラインキャッシュのための普遍的な下位境界を提供し、様々なパフォーマンス・複雑さのトレードオフを持つ一連のポリシーを設計する。
我々の結果は、最近提案されたすべてのオンラインキャッシュポリシーを大幅に改善し、オラクルの予測を活用できないため、後悔する$O(sqrtT)しか提供できません。
論文 参考訳(メタデータ) (2022-08-15T09:18:41Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - ARCH: Efficient Adversarial Regularized Training with Caching [91.74682538906691]
逆正則化は、多くの自然言語処理タスクにおけるモデル一般化を改善することができる。
本稿では,複数のエポック毎に摂動を発生・キャッシュする新たな逆正則化手法ARCHを提案する。
提案手法をニューラルネットワーク翻訳と自然言語理解タスクのセットで評価する。
論文 参考訳(メタデータ) (2021-09-15T02:05:37Z) - Real-time Neural Radiance Caching for Path Tracing [67.46991813306708]
本稿では,パストレーシングによる大域照明のためのリアルタイムなニューラルラディアンスキャッシング手法を提案する。
我々のシステムは、完全にダイナミックなシーンを扱うように設計されており、照明、幾何学、材料に関する仮定は一切ない。
バイアスの少ないコストで大きなノイズ低減効果を示し、多くの難題に対して最先端のリアルタイム性能を報告した。
論文 参考訳(メタデータ) (2021-06-23T13:09:58Z) - Learning Forward Reuse Distance [1.8777512961936749]
近年のディープラーニング技術の進歩は、新しいインテリジェントキャッシュ置換ポリシーの設計を可能にする。
LSTMに基づく強力なリカレントニューラルネットワークモデルにより,キャッシュトレースのみを入力として,高い予測精度が得られることがわかった。
その結果、新しいキャッシュポリシは、最先端の実用的なポリシを19.2%改善し、平均してOPTよりも2.3%高いミス比しか発生しないことが示された。
論文 参考訳(メタデータ) (2020-07-31T05:57:50Z) - Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。
コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。
本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-19T01:23:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。