論文の概要: Edge Caching Based on Deep Reinforcement Learning and Transfer Learning
- arxiv url: http://arxiv.org/abs/2402.14576v2
- Date: Fri, 1 Mar 2024 00:21:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 13:41:40.806387
- Title: Edge Caching Based on Deep Reinforcement Learning and Transfer Learning
- Title(参考訳): 深層強化学習と転送学習に基づくエッジキャッシング
- Authors: Farnaz Niknia, Ping Wang, Zixu Wang, Aakash Agarwal and Adib S. Rezaei
- Abstract要約: トラフィックの急増はバックホールリンクやバックボーンネットワークを歪め、エッジルータでのキャッシュソリューションの探索を促した。
半マルコフ決定プロセス(SMDP)を用いてキャッシング問題を定式化し、実世界のシナリオの連続的な性質に対応する。
本稿では、生涯、サイズ、重要性といったファイルの特徴を包括的に考慮した、ダブルディープQラーニングに基づくキャッシュ手法を提案する。
- 参考スコア(独自算出の注目度): 4.568097048023971
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper addresses the escalating challenge of redundant data transmission
in networks. The surge in traffic has strained backhaul links and backbone
networks, prompting the exploration of caching solutions at the edge router.
Existing work primarily relies on Markov Decision Processes (MDP) for caching
issues, assuming fixed-time interval decisions; however, real-world scenarios
involve random request arrivals, and despite the critical role of various file
characteristics in determining an optimal caching policy, none of the related
existing work considers all these file characteristics in forming a caching
policy. In this paper, first, we formulate the caching problem using a
semi-Markov Decision Process (SMDP) to accommodate the continuous-time nature
of real-world scenarios allowing for caching decisions at random times upon
file requests. Then, we propose a double deep Q-learning-based caching approach
that comprehensively accounts for file features such as lifetime, size, and
importance. Simulation results demonstrate the superior performance of our
approach compared to a recent Deep Reinforcement Learning-based method.
Furthermore, we extend our work to include a Transfer Learning (TL) approach to
account for changes in file request rates in the SMDP framework. The proposed
TL approach exhibits fast convergence, even in scenarios with increased
differences in request rates between source and target domains, presenting a
promising solution to the dynamic challenges of caching in real-world
environments.
- Abstract(参考訳): 本稿では,ネットワークにおける冗長データ伝送のエスカレート問題に対処する。
トラフィックの急増はバックホールリンクとバックボーンネットワークを圧迫し、エッジルータでのキャッシュソリューションの探求を促した。
しかし、現実世界のシナリオではランダムな要求が到着し、最適なキャッシングポリシーを決定するのに様々なファイル特性が重要な役割を担っているにもかかわらず、キャッシュポリシーを形成する際にこれらのファイル特性をすべて考慮していない。
本稿では,まず,半マルコフ決定プロセス(smdp)を用いてキャッシング問題を定式化し,ファイル要求時にランダムにキャッシングを行う実世界のシナリオの連続時間的性質に対応する。
そこで本研究では,生涯,サイズ,重要度などのファイル特徴を包括的に考慮した,深層Q-ラーニングに基づくキャッシュ手法を提案する。
シミュレーションの結果,最近の深層強化学習法と比較して,本手法の優れた性能を示す。
さらに、SMDPフレームワークにおけるファイル要求率の変化を考慮するために、Transfer Learning(TL)アプローチを含めるように作業を拡張します。
提案したTLアプローチは,ソースドメインとターゲットドメイン間の要求レートの差が増加するシナリオにおいても高速収束を示し,実環境におけるキャッシュの動的な課題に対する,有望な解決策を提供する。
関連論文リスト
- A Learning-Based Caching Mechanism for Edge Content Delivery [2.7110241847592915]
5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。
このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。
HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
論文 参考訳(メタデータ) (2024-02-05T08:06:03Z) - Optimistic No-regret Algorithms for Discrete Caching [6.182368229968862]
楽観的な学習の文脈において,ファイル全体を限られた容量でキャッシュに格納するという問題を体系的に検討する。
予測支援オンラインキャッシュのための普遍的な下位境界を提供し、様々なパフォーマンス・複雑さのトレードオフを持つ一連のポリシーを設計する。
我々の結果は、最近提案されたすべてのオンラインキャッシュポリシーを大幅に改善し、オラクルの予測を活用できないため、後悔する$O(sqrtT)しか提供できません。
論文 参考訳(メタデータ) (2022-08-15T09:18:41Z) - Accelerating Deep Learning Classification with Error-controlled
Approximate-key Caching [72.50506500576746]
我々は、近似キーキャッシングと名付けた新しいキャッシングパラダイムを提案する。
近似キャッシュはDL推論の負荷を軽減し、システムのスループットを向上するが、近似誤差を導入する。
我々は古典的なLRUと理想的なキャッシュのキャッシュシステム性能を解析的にモデル化し、期待される性能のトレース駆動評価を行い、提案手法の利点を最先端の類似キャッシュと比較した。
論文 参考訳(メタデータ) (2021-12-13T13:49:11Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳(メタデータ) (2021-08-15T21:32:47Z) - Markov Decision Process modeled with Bandits for Sequential Decision
Making in Linear-flow [73.1896399783641]
会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。
遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。
提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
論文 参考訳(メタデータ) (2021-07-01T03:54:36Z) - Cocktail Edge Caching: Ride Dynamic Trends of Content Popularity with
Ensemble Learning [10.930268276150262]
エッジキャッシングは、新興のコンテンツ豊富なアプリケーションを促進する上で重要な役割を果たす。
それは、特に、非常にダイナミックなコンテンツ人気と異種キャッシュ計算など、多くの新しい課題に直面しています。
アンサンブル学習による動的人気と不均一性に対処するCocktail Edge Cachingを提案する。
論文 参考訳(メタデータ) (2021-01-14T21:59:04Z) - Caching Placement and Resource Allocation for Cache-Enabling UAV NOMA
Networks [87.6031308969681]
本稿では,非直交多重アクセス(NOMA)をサポートした大規模アクセス機能を有する無人航空機(UAV)セルネットワークについて検討する。
コンテンツ配信遅延最小化のための長期キャッシュ配置と資源配分最適化問題をマルコフ決定プロセス(MDP)として定式化する。
そこで我々は,UAVがemphsoft $varepsilon$-greedy戦略を用いて行動の学習と選択を行い,行動と状態の最適な一致を探索する,Qラーニングに基づくキャッシュ配置とリソース割り当てアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-12T08:33:51Z) - Reinforcement Learning for Caching with Space-Time Popularity Dynamics [61.55827760294755]
キャッシングは次世代ネットワークにおいて重要な役割を果たすと想定されている。
コンテンツをインテリジェントにプリフェッチし、保存するためには、キャッシュノードは、何といつキャッシュするかを学ばなければならない。
本章では、近似キャッシングポリシー設計のための多目的強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-19T01:23:51Z) - A Non-Stationary Bandit-Learning Approach to Energy-Efficient
Femto-Caching with Rateless-Coded Transmission [98.47527781626161]
小セルネットワークにおける共同キャッシュと送信のためのリソース割り当て問題について検討する。
次に、各放送ラウンドの送信電力レベルとともに、キャッシュからファイルを選択するという問題を定式化する。
最先端の研究とは対照的に、提案手法は時変統計特性を持つネットワークに特に適している。
論文 参考訳(メタデータ) (2020-04-13T09:07:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。