論文の概要: Reinforcement Learning Based Approaches to Adaptive Context Caching in Distributed Context Management Systems

• arxiv url: http://arxiv.org/abs/2212.11709v1
• Date: Thu, 22 Dec 2022 13:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 15:35:37.036046
• Title: Reinforcement Learning Based Approaches to Adaptive Context Caching in Distributed Context Management Systems
• Title（参考訳）: 強化学習に基づく分散コンテキスト管理システムにおける適応型コンテキストキャッシング
• Authors: Shakthi Weerasinghe, Arkady Zaslavsky, Seng W. Loke, Amin Abken, Alireza Hassani
• Abstract要約: パフォーマンスメトリクス駆動のコンテキストキャッシュは、分散コンテキスト管理システムのスループットとレスポンス時間に大きな影響を与えます。 本稿では,文脈を適応的にキャッシュするための強化学習に基づくアプローチを提案する。 我々の新しいアルゴリズムは、コンテキストクエリとサブクエリを効率的に再利用し、キャッシュされたコンテキストを再利用することを可能にする。
• 参考スコア（独自算出の注目度）: 0.7559720049837457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance metrics-driven context caching has a profound impact on throughput and response time in distributed context management systems for real-time context queries. This paper proposes a reinforcement learning based approach to adaptively cache context with the objective of minimizing the cost incurred by context management systems in responding to context queries. Our novel algorithms enable context queries and sub-queries to reuse and repurpose cached context in an efficient manner. This approach is distinctive to traditional data caching approaches by three main features. First, we make selective context cache admissions using no prior knowledge of the context, or the context query load. Secondly, we develop and incorporate innovative heuristic models to calculate expected performance of caching an item when making the decisions. Thirdly, our strategy defines a time-aware continuous cache action space. We present two reinforcement learning agents, a value function estimating actor-critic agent and a policy search agent using deep deterministic policy gradient method. The paper also proposes adaptive policies such as eviction and cache memory scaling to complement our objective. Our method is evaluated using a synthetically generated load of context sub-queries and a synthetic data set inspired from real world data and query samples. We further investigate optimal adaptive caching configurations under different settings. This paper presents, compares, and discusses our findings that the proposed selective caching methods reach short- and long-term cost- and performance-efficiency. The paper demonstrates that the proposed methods outperform other modes of context management such as redirector mode, and database mode, and cache all policy by up to 60% in cost efficiency.
• Abstract（参考訳）: パフォーマンスメトリクス駆動のコンテキストキャッシュは、リアルタイムコンテキストクエリのための分散コンテキスト管理システムのスループットとレスポンス時間に大きな影響を与えます。 本稿では,コンテキストクエリに応答するコンテキスト管理システムによるコストの最小化を目的として,コンテキストを適応的にキャッシュする強化学習に基づくアプローチを提案する。 新たなアルゴリズムにより,コンテキストクエリとサブクエリを効率的に再利用し,キャッシュされたコンテキストを再利用することができる。 このアプローチは、従来のデータキャッシングアプローチに3つの主な特徴がある。 まず、コンテキストの事前知識やコンテキストクエリの負荷を使わずに、選択的なコンテキストキャッシュの入力を行う。 第2に,意思決定時にアイテムをキャッシングする期待性能を計算するために,革新的なヒューリスティックモデルを開発し,導入する。 第3に、当社の戦略は、タイムアウェアな継続的キャッシュアクションスペースを定義します。 本稿では,2つの強化学習エージェント,アクター批判エージェントを推定する値関数と,決定論的ポリシー勾配法によるポリシー探索エージェントを提案する。 また,本論文では,eviction や cache memory scaling などの適応ポリシーを提案する。 本手法は,コンテクストサブクエリの合成生成負荷と,実世界データとクエリサンプルにインスパイアされた合成データセットを用いて評価する。 異なる設定下での最適適応キャッシング構成についてさらに検討する。 本稿では,提案する選択的キャッシング手法が短期的かつ長期的コスト・性能効率に到達できることを示す。 提案手法は,リダイレクトモードやデータベースモードなど,他のコンテキスト管理方法よりも優れた性能を示し,全ポリシを最大60%のコスト効率でキャッシュする。

関連論文リスト

• Edge Caching Optimization with PPO and Transfer Learning for Dynamic Environments [3.720975664058743]
  動的環境においては、コンテンツの人気の変化や要求率の変化が頻繁に発生し、事前学習されたポリシーが以前の条件に最適化されているため、効果が低下する。 我々は,コンテンツの人気と要求率の変化を検知し,キャッシュ戦略のタイムリーな調整を確保する機構を開発する。 また,事前知識を活用して,新しい環境における収束を加速する伝達学習に基づくPPOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T21:01:29Z)
• Improving Retrieval in Sponsored Search by Leveraging Query Context Signals [6.152499434499752]
  本稿では,クエリをリッチなコンテキスト信号で拡張することで,クエリ理解を強化する手法を提案する。 我々は、Web検索のタイトルとスニペットを使って、現実世界の情報にクエリを接地し、GPT-4を使ってクエリの書き直しと説明を生成する。 我々の文脈認識アプローチは文脈自由モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-07-19T14:28:53Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Attention-Enhanced Prioritized Proximal Policy Optimization for Adaptive Edge Caching [4.2579244769567675]
  本稿では,PPO(Proximal Policy Optimization)に基づくキャッシュ方式を提案する。 本手法は近年のDeep Reinforcement Learning-based Techniqueより優れている。
  論文  参考訳（メタデータ） (2024-02-08T17:17:46Z)
• From Contextual Data to Newsvendor Decisions: On the Actual Performance of Data-Driven Algorithms [2.9603743540540357]
  本研究では,過去のデータとの関連性と量が,データ駆動型ポリシーの性能に与える影響について検討する。 我々は,「密接な状況下で観察された過去の要求は,分布の密接な関係から生じると考える。
  論文  参考訳（メタデータ） (2023-02-16T17:03:39Z)
• Multi-Task Off-Policy Learning from Bandit Feedback [54.96011624223482]
  本稿では,階層型非政治最適化アルゴリズム (HierOPO) を提案する。 学習方針の準最適性にタスクごとのバウンダリを証明し、階層モデルを使用しないよりも明確な改善を示す。 我々の理論的および実証的な結果は、各タスクを個別に解くよりも、階層を使うことの明確な利点を示している。
  論文  参考訳（メタデータ） (2022-12-09T08:26:27Z)
• From Traditional Adaptive Data Caching to Adaptive Context Caching: A Survey [0.7046417074932255]
  課題の1つは、多数のコンテキストクエリに応答する際のパフォーマンスの改善である。 キャッシングは、コンテキストの透明性と可変性などの機能を改善するための実証済みの方法であるが、コンテキストクエリの不均一性は、追加のリアルタイムコスト管理の問題を引き起こす。 本稿では,適応型データキャッシングにおける最先端技術に関する批判的調査を行い,コストと性能効率のよいキャッシュ戦略における知識の体系を構築することを目的とする。
  論文  参考訳（メタデータ） (2022-11-21T08:47:51Z)
• Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching [72.50506500576746]
  我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。 近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。 我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
  論文  参考訳（メタデータ） (2021-12-13T13:49:11Z)
• Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
  キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。 コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。 本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-19T01:23:51Z)
• Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation [49.69139684065241]
  コンテキスト多重武装バンディット(MAB)は、様々な問題において最先端のパフォーマンスを達成する。 本稿では,階層型適応型文脈帯域幅法(HATCH)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T17:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。