論文の概要: Reinforcement Learning Based Approaches to Adaptive Context Caching in
Distributed Context Management Systems
- arxiv url: http://arxiv.org/abs/2212.11709v1
- Date: Thu, 22 Dec 2022 13:52:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 15:35:37.036046
- Title: Reinforcement Learning Based Approaches to Adaptive Context Caching in
Distributed Context Management Systems
- Title(参考訳): 強化学習に基づく分散コンテキスト管理システムにおける適応型コンテキストキャッシング
- Authors: Shakthi Weerasinghe, Arkady Zaslavsky, Seng W. Loke, Amin Abken,
Alireza Hassani
- Abstract要約: パフォーマンスメトリクス駆動のコンテキストキャッシュは、分散コンテキスト管理システムのスループットとレスポンス時間に大きな影響を与えます。
本稿では,文脈を適応的にキャッシュするための強化学習に基づくアプローチを提案する。
我々の新しいアルゴリズムは、コンテキストクエリとサブクエリを効率的に再利用し、キャッシュされたコンテキストを再利用することを可能にする。
- 参考スコア(独自算出の注目度): 0.7559720049837457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Performance metrics-driven context caching has a profound impact on
throughput and response time in distributed context management systems for
real-time context queries. This paper proposes a reinforcement learning based
approach to adaptively cache context with the objective of minimizing the cost
incurred by context management systems in responding to context queries. Our
novel algorithms enable context queries and sub-queries to reuse and repurpose
cached context in an efficient manner. This approach is distinctive to
traditional data caching approaches by three main features. First, we make
selective context cache admissions using no prior knowledge of the context, or
the context query load. Secondly, we develop and incorporate innovative
heuristic models to calculate expected performance of caching an item when
making the decisions. Thirdly, our strategy defines a time-aware continuous
cache action space. We present two reinforcement learning agents, a value
function estimating actor-critic agent and a policy search agent using deep
deterministic policy gradient method. The paper also proposes adaptive policies
such as eviction and cache memory scaling to complement our objective. Our
method is evaluated using a synthetically generated load of context sub-queries
and a synthetic data set inspired from real world data and query samples. We
further investigate optimal adaptive caching configurations under different
settings. This paper presents, compares, and discusses our findings that the
proposed selective caching methods reach short- and long-term cost- and
performance-efficiency. The paper demonstrates that the proposed methods
outperform other modes of context management such as redirector mode, and
database mode, and cache all policy by up to 60% in cost efficiency.
- Abstract(参考訳): パフォーマンスメトリクス駆動のコンテキストキャッシュは、リアルタイムコンテキストクエリのための分散コンテキスト管理システムのスループットとレスポンス時間に大きな影響を与えます。
本稿では,コンテキストクエリに応答するコンテキスト管理システムによるコストの最小化を目的として,コンテキストを適応的にキャッシュする強化学習に基づくアプローチを提案する。
新たなアルゴリズムにより,コンテキストクエリとサブクエリを効率的に再利用し,キャッシュされたコンテキストを再利用することができる。
このアプローチは、従来のデータキャッシングアプローチに3つの主な特徴がある。
まず、コンテキストの事前知識やコンテキストクエリの負荷を使わずに、選択的なコンテキストキャッシュの入力を行う。
第2に,意思決定時にアイテムをキャッシングする期待性能を計算するために,革新的なヒューリスティックモデルを開発し,導入する。
第3に、当社の戦略は、タイムアウェアな継続的キャッシュアクションスペースを定義します。
本稿では,2つの強化学習エージェント,アクター批判エージェントを推定する値関数と,決定論的ポリシー勾配法によるポリシー探索エージェントを提案する。
また,本論文では,eviction や cache memory scaling などの適応ポリシーを提案する。
本手法は,コンテクストサブクエリの合成生成負荷と,実世界データとクエリサンプルにインスパイアされた合成データセットを用いて評価する。
異なる設定下での最適適応キャッシング構成についてさらに検討する。
本稿では,提案する選択的キャッシング手法が短期的かつ長期的コスト・性能効率に到達できることを示す。
提案手法は,リダイレクトモードやデータベースモードなど,他のコンテキスト管理方法よりも優れた性能を示し,全ポリシを最大60%のコスト効率でキャッシュする。
関連論文リスト
- Scalable Online Exploration via Coverability [51.32148652451376]
探索は、特に関数近似を必要とする高次元領域において、強化学習において大きな課題である。
従来の探索手法を一般化し,3つの基本デシラタをサポートする新しい目的である$L_Coverageを導入する。
$L_Coverageは、カバー可能性の低いMDPにおけるオンライン(リワードフリーまたは報酬駆動)強化学習のための、最初の計算効率のよいモデルベースおよびモデルフリーのアルゴリズムを可能にする。
論文 参考訳(メタデータ) (2024-03-11T10:14:06Z) - Edge Caching Based on Deep Reinforcement Learning and Transfer Learning [4.568097048023971]
トラフィックの急増はバックホールリンクやバックボーンネットワークを歪め、エッジルータでのキャッシュソリューションの探索を促した。
半マルコフ決定プロセス(SMDP)を用いてキャッシング問題を定式化し、実世界のシナリオの連続的な性質に対応する。
本稿では、生涯、サイズ、重要性といったファイルの特徴を包括的に考慮した、ダブルディープQラーニングに基づくキャッシュ手法を提案する。
論文 参考訳(メタデータ) (2024-02-08T17:17:46Z) - LLMs for Test Input Generation for Semantic Caches [1.8628177380024746]
大規模言語モデル(LLM)は、最先端のセマンティック機能をソフトウェアシステムに追加することを可能にする。
規模によっては、何千ものユーザーへのサービス提供コストは、ユーザーエクスペリエンスにも大きく影響します。
本稿では、構造化されていない文書から類似した質問を生成するテスト入力生成にLLMを使用するアプローチであるVaryGenを提案する。
論文 参考訳(メタデータ) (2024-01-16T06:16:33Z) - From Contextual Data to Newsvendor Decisions: On the Actual Performance
of Data-Driven Algorithms [2.9603743540540357]
本研究では,過去のデータとの関連性と量が,データ駆動型ポリシーの性能に与える影響について検討する。
我々は,「密接な状況下で観察された過去の要求は,分布の密接な関係から生じると考える。
論文 参考訳(メタデータ) (2023-02-16T17:03:39Z) - Multi-Task Off-Policy Learning from Bandit Feedback [54.96011624223482]
本稿では,階層型非政治最適化アルゴリズム (HierOPO) を提案する。
学習方針の準最適性にタスクごとのバウンダリを証明し、階層モデルを使用しないよりも明確な改善を示す。
我々の理論的および実証的な結果は、各タスクを個別に解くよりも、階層を使うことの明確な利点を示している。
論文 参考訳(メタデータ) (2022-12-09T08:26:27Z) - From Traditional Adaptive Data Caching to Adaptive Context Caching: A
Survey [0.7046417074932255]
課題の1つは、多数のコンテキストクエリに応答する際のパフォーマンスの改善である。
キャッシングは、コンテキストの透明性と可変性などの機能を改善するための実証済みの方法であるが、コンテキストクエリの不均一性は、追加のリアルタイムコスト管理の問題を引き起こす。
本稿では,適応型データキャッシングにおける最先端技術に関する批判的調査を行い,コストと性能効率のよいキャッシュ戦略における知識の体系を構築することを目的とする。
論文 参考訳(メタデータ) (2022-11-21T08:47:51Z) - Online Caching with no Regret: Optimistic Learning via Recommendations [15.877673959068458]
ファイル要求の予測を含むFTRL(Follow-the-Regularized-Leader)フレームワークを構築した。
フレームワークを拡張して、多くが利用可能な場合に最適な要求予測器を学習し、利用します。
提案した楽観的な学習キャッシュポリシが,完全予測のためのサブゼロ性能損失(regret)を達成できることを実証する。
論文 参考訳(メタデータ) (2022-04-20T09:29:47Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - Non-Stationary Off-Policy Optimization [50.41335279896062]
本研究では,時間的空間的帯域幅の非政治最適化の新たな課題について検討する。
オフライン学習フェーズでは、ログ化されたデータをカテゴリの潜在状態に分割し、各状態に対してほぼ最適のサブポリシーを学ぶ。
オンラインデプロイメントの段階では、学習したサブ政治をそのパフォーマンスに基づいて順応的に切り替える。
論文 参考訳(メタデータ) (2020-06-15T09:16:09Z) - Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。
コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。
本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-19T01:23:51Z) - Hierarchical Adaptive Contextual Bandits for Resource Constraint based
Recommendation [49.69139684065241]
コンテキスト多重武装バンディット(MAB)は、様々な問題において最先端のパフォーマンスを達成する。
本稿では,階層型適応型文脈帯域幅法(HATCH)を提案する。
論文 参考訳(メタデータ) (2020-04-02T17:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。