論文の概要: Inferring Causal Relationships to Improve Caching for Clients with Correlated Requests: Applications to VR
- arxiv url: http://arxiv.org/abs/2512.08626v1
- Date: Tue, 09 Dec 2025 14:10:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.990104
- Title: Inferring Causal Relationships to Improve Caching for Clients with Correlated Requests: Applications to VR
- Title(参考訳): 顧客からの要求に応じたキャッシング改善のための因果関係の推論:VRへの応用
- Authors: Agrim Bari, Gustavo de Veciana, Yuqi Zhou,
- Abstract要約: Least recently Used (LRU) や Least Frequently Used (LFU) のようなキャッシュポリシは、特定の要求パターンの下でうまく機能する。
我々は、クライアント要求の因果関係を動的に推論し、適応し、消去を最適化する新しいオンラインキャッシュポリシーLFRUを提案する。
- 参考スコア(独自算出の注目度): 8.329456268842227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient edge caching reduces latency and alleviates backhaul congestion in modern networks. Traditional caching policies, such as Least Recently Used (LRU) and Least Frequently Used (LFU), perform well under specific request patterns. LRU excels in workloads with strong temporal locality, while LFU is effective when content popularity remains static. However, real-world client requests often exhibit correlations due to shared contexts and coordinated activities. This is particularly evident in Virtual Reality (VR) environments, where groups of clients navigate shared virtual spaces, leading to correlated content requests. In this paper, we introduce the \textit{grouped client request model}, a generalization of the Independent Reference Model that explicitly captures different types of request correlations. Our theoretical analysis of LRU under this model reveals that the optimal causal caching policy depends on cache size: LFU is optimal for small to moderate caches, while LRU outperforms it for larger caches. To address the limitations of existing policies, we propose Least Following and Recently Used (LFRU), a novel online caching policy that dynamically infers and adapts to causal relationships in client requests to optimize evictions. LFRU prioritizes objects likely to be requested based on inferred dependencies, achieving near-optimal performance compared to the offline optimal Belady policy in structured correlation settings. We develop VR based datasets to evaluate caching policies under realistic correlated requests. Our results show that LFRU consistently performs at least as well as LRU and LFU, outperforming LRU by up to 2.9x and LFU by up to1.9x in certain settings.
- Abstract(参考訳): 効率的なエッジキャッシュはレイテンシを低減し、現代的なネットワークにおけるバックホールの混雑を軽減する。
Least recently Used (LRU) や Least Frequently Used (LFU) のような従来のキャッシュポリシは、特定の要求パターンの下でうまく機能する。
LRUは強い時間的局所性を持つワークロードで優れており、LFUはコンテンツの人気が静的なままである場合に有効である。
しかし、現実世界のクライアント要求は、共有されたコンテキストと協調されたアクティビティによって相関を示すことが多い。
これは、クライアントのグループが共有仮想空間をナビゲートし、関連性のあるコンテンツ要求につながる、VR(Virtual Reality)環境において特に顕著である。
本稿では,異なるタイプの要求相関を明示的に捉える独立参照モデルの一般化である「textit{grouped client request model」を紹介する。
このモデルに基づくLRUの理論的解析により、最適因果キャッシュポリシーはキャッシュサイズに依存することが明らかとなった: LFUは小規模から中程度のキャッシュに最適であり、LRUはより大きなキャッシュに優れる。
既存のポリシーの限界に対処するために,クライアント要求の因果関係を動的に推論し適応し,排除を最適化する,新たなオンラインキャッシュポリシであるLast following and recently Used (LFRU)を提案する。
LFRUは、構造化された相関設定において、オフラインの最適ベラディポリシーと比較して、推論された依存関係に基づいて要求される可能性のあるオブジェクトを優先順位付けする。
現実的な相関要求下でのキャッシュポリシを評価するために,VRベースのデータセットを開発した。
その結果,LFRUはLRUとLFUと同等以上の性能を示し,LRUを最大2.9倍,LFUを最大1.9倍向上させた。
関連論文リスト
- Cache Management for Mixture-of-Experts LLMs -- extended version [29.858964433575906]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。
LLMのデプロイメントを成功させる上での大きな課題の1つは、メモリ管理である。
我々は,エキスパートマネジメントの最適化をモデルとした新しいページング問題を導入し,研究する。
論文 参考訳(メタデータ) (2025-09-02T15:19:06Z) - Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation [54.61034867177997]
キャッシング推論応答は、大きな言語モデルに他の前方を通さずに、それらを検索することができる。
従来の正確なキャッシュは、クエリ間のセマンティックな類似性を見落とし、不要な再計算をもたらす。
本稿では,未知のクエリおよびコスト分布下でのセマンティックキャッシュ消去のための,原則的,学習ベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-11T06:53:27Z) - TweakLLM: A Routing Architecture for Dynamic Tailoring of Cached Responses [2.1604594801267667]
大きな言語モデル(LLM)は、数百万のクエリを毎日処理します。
本稿では,LLMを用いた新しいルーティングアーキテクチャであるTweakLLMを紹介し,キャッシュされた応答を受信プロンプトに動的に適応させる。
論文 参考訳(メタデータ) (2025-07-31T15:50:57Z) - SweRank: Software Issue Localization with Code Ranking [109.3289316191729]
SweRankは、ソフトウェア問題ローカライゼーションのための効率的な検索と参照のためのフレームワークである。
パブリックなGitHubリポジトリからキュレートされた大規模なデータセットであるSweLocを構築します。
SweRankは最先端の性能を達成し、従来のランキングモデルとコストの高いエージェントベースシステムの両方より優れていることを示す。
論文 参考訳(メタデータ) (2025-05-07T19:44:09Z) - ERCache: An Efficient and Reliable Caching Framework for Large-Scale User Representations in Meta's Ads System [20.058668768238984]
ERCacheは、ソーシャルネットワーク上の広告レコメンデーションシステムにおいて、大規模ユーザ表現のための効率的で堅牢なキャッシュフレームワークである。
ERCacheは6ヶ月以上Metaにデプロイされ、30以上のランキングモデルをサポートする。
論文 参考訳(メタデータ) (2024-10-09T02:51:27Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-07-25T15:29:05Z) - Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである
LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。
本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - Cocktail Edge Caching: Ride Dynamic Trends of Content Popularity with
Ensemble Learning [10.930268276150262]
エッジキャッシングは、新興のコンテンツ豊富なアプリケーションを促進する上で重要な役割を果たす。
それは、特に、非常にダイナミックなコンテンツ人気と異種キャッシュ計算など、多くの新しい課題に直面しています。
アンサンブル学習による動的人気と不均一性に対処するCocktail Edge Cachingを提案する。
論文 参考訳(メタデータ) (2021-01-14T21:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。