論文の概要: Model-free Reinforcement Learning for Content Caching at the Wireless Edge via Restless Bandits

• arxiv url: http://arxiv.org/abs/2202.13187v1
• Date: Sat, 26 Feb 2022 17:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 17:47:26.165431
• Title: Model-free Reinforcement Learning for Content Caching at the Wireless Edge via Restless Bandits
• Title（参考訳）: restless banditsによる無線エッジにおけるコンテンツキャッシングのためのモデルフリー強化学習
• Authors: Guojun Xiong, Shufan Wang, Jian Li, Rahul Singh
• Abstract要約: 我々は、平均的なコンテンツ要求遅延を最小限に抑えるために、信頼できないチャンネルを持つ無線エッジにおけるコンテンツキャッシングの問題を考察する。 我々は,索引政策に依存するQ-Whittle学習と呼ばれるモデルフリー強化学習アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 13.279701093763157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An explosive growth in the number of on-demand content requests has imposed significant pressure on current wireless network infrastructure. To enhance the perceived user experience, and support latency-sensitive applications, edge computing has emerged as a promising computing paradigm. The performance of a wireless edge depends on contents that are cached. In this paper, we consider the problem of content caching at the wireless edge with unreliable channels to minimize average content request latency. We formulate this problem as a restless bandit problem, which is provably hard to solve. We begin by investigating a discounted counterpart, and prove that it admits an optimal policy of the threshold-type. We then show that the result also holds for the average latency problem. Using these structural results, we establish the indexability of the problem, and employ Whittle index policy to minimize average latency. Since system parameters such as content request rate are often unknown, we further develop a model-free reinforcement learning algorithm dubbed Q-Whittle learning that relies on our index policy. We also derive a bound on its finite-time convergence rate. Simulation results using real traces demonstrate that our proposed algorithms yield excellent empirical performance.
• Abstract（参考訳）: オンデマンドコンテンツ要求の爆発的な増加は、現在の無線ネットワークインフラに大きなプレッシャーを与えている。 ユーザエクスペリエンスの認識を高め、レイテンシに敏感なアプリケーションをサポートするため、エッジコンピューティングは有望なコンピューティングパラダイムとして登場した。 無線エッジの性能はキャッシュされたコンテンツに依存する。 本稿では,平均的なコンテンツ要求遅延を最小限に抑えるために,信頼できないチャネルを用いた無線エッジにおけるコンテンツキャッシングの問題を考える。 我々はこの問題を、解決が困難である、安静な盗賊問題として定式化する。 まず、割引対象を調査し、しきい値型の最適ポリシーを認めることを証明します。 そして,結果が平均遅延問題にも有効であることを示す。 これらの構造的結果を用いて,問題の索引性を確立し,平均遅延を最小化するためにWhittleインデックスポリシーを用いる。 コンテンツ要求率などのシステムパラメータは未知数が多いため,索引ポリシーに依存するq-whittle learningと呼ばれるモデルフリー強化学習アルゴリズムも開発している。 我々はまた、その有限時間収束率に束縛される。 実トレースを用いたシミュレーションの結果,提案アルゴリズムは実験性能に優れていた。

関連論文リスト

• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Differentially Private Deep Q-Learning for Pattern Privacy Preservation in MEC Offloading [76.0572817182483]
  攻撃者は、エッジサーバ(ES)のキュー情報とユーザの使用パターンを推測するために、オフロードの決定を盗み取ることができる。 パターンプライバシ(PP)を維持しつつ,レイテンシ,ESのエネルギー消費,タスク削減率を両立させるオフロード戦略を提案する。 そこで我々はDP-DQOアルゴリズムを開発し,PP問題にノイズを注入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T12:50:18Z)
• Scheduling Inference Workloads on Distributed Edge Clusters with Reinforcement Learning [11.007816552466952]
  本稿では,エッジネットワークにおける予測クエリを短時間でスケジューリングする問題に焦点をあてる。 シミュレーションにより,大規模ISPの現実的なネットワーク設定とワークロードにおけるいくつかのポリシーを解析する。 我々は、強化学習に基づくスケジューリングアルゴリズムASETを設計し、システム条件に応じてその決定を適応させることができる。
  論文  参考訳（メタデータ） (2023-01-31T13:23:34Z)
• Caching Contents with Varying Popularity using Restless Bandits [0.3093890460224435]
  本研究では,無線エッジ(例えば基地局)におけるコンテンツキャッシングの問題について検討し,無限水平線上で発生する割引コストを最小化する。 これらの構造的結果を用いて、問題の索引可能性を証明するとともに、割引コストを最小限に抑えるためにWhittleインデックスポリシーを使用する。
  論文  参考訳（メタデータ） (2022-10-31T16:24:45Z)
• Exploiting Deep Reinforcement Learning for Edge Caching in Cell-Free Massive MIMO Systems [17.901600491149175]
  セルフリーの大規模マルチインプット・マルチプル出力は、鉄道無線通信の厳しい品質保証(QoE)要件を満たすことを約束している。 主な課題は、列車の速度の増大による急激な伝搬環境の変化により、所望のコンテンツをタイムリーに提供する方法である。 本稿では,コヒーレント・トランスミッションを行ない,エンドツーエンドの遅延を低減するために,今後のAPで積極的に要求されるコンテンツをキャッシュすることを提案する。
  論文  参考訳（メタデータ） (2022-08-26T06:28:08Z)
• An Intelligent Deterministic Scheduling Method for Ultra-Low Latency Communication in Edge Enabled Industrial Internet of Things [19.277349546331557]
  時間知覚ネットワーク (TSN) は, 決定論的スケジューリングによる低遅延通信を実現するために最近研究されている。 非衝突理論に基づく決定論的スケジューリング (NDS) 法を提案し, 時間に敏感な流れに対する超低遅延通信を実現する。 実験の結果,NDS/DQSは決定論的超低レイテンシサービスを十分にサポートし,帯域幅の有効利用を保証できることがわかった。
  論文  参考訳（メタデータ） (2022-07-17T16:52:51Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
  近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。 しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。 本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
  論文  参考訳（メタデータ） (2020-01-17T15:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。