論文の概要: A Distributed Deep Reinforcement Learning Technique for Application
Placement in Edge and Fog Computing Environments
- arxiv url: http://arxiv.org/abs/2110.12415v1
- Date: Sun, 24 Oct 2021 11:25:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 18:27:18.928929
- Title: A Distributed Deep Reinforcement Learning Technique for Application
Placement in Edge and Fog Computing Environments
- Title（参考訳）: エッジおよびフォグコンピューティング環境におけるアプリケーション配置のための分散深層強化学習手法
- Authors: Mohammad Goudarzi, Marimuthu Palaniswami, Rajkumar Buyya
- Abstract要約: フォグ/エッジコンピューティング環境において, DRL(Deep Reinforcement Learning)に基づく配置技術が提案されている。
IMPortance weighted Actor-Learner Architectures (IMPALA) に基づくアクタ批判に基づく分散アプリケーション配置手法を提案する。
- 参考スコア（独自算出の注目度）: 31.326505188936746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fog/Edge computing is a novel computing paradigm supporting
resource-constrained Internet of Things (IoT) devices by the placement of their
tasks on the edge and/or cloud servers. Recently, several Deep Reinforcement
Learning (DRL)-based placement techniques have been proposed in fog/edge
computing environments, which are only suitable for centralized setups. The
training of well-performed DRL agents requires manifold training data while
obtaining training data is costly. Hence, these centralized DRL-based
techniques lack generalizability and quick adaptability, thus failing to
efficiently tackle application placement problems. Moreover, many IoT
applications are modeled as Directed Acyclic Graphs (DAGs) with diverse
topologies. Satisfying dependencies of DAG-based IoT applications incur
additional constraints and increase the complexity of placement problems. To
overcome these challenges, we propose an actor-critic-based distributed
application placement technique, working based on the IMPortance weighted
Actor-Learner Architectures (IMPALA). IMPALA is known for efficient distributed
experience trajectory generation that significantly reduces the exploration
costs of agents. Besides, it uses an adaptive off-policy correction method for
faster convergence to optimal solutions. Our technique uses recurrent layers to
capture temporal behaviors of input data and a replay buffer to improve the
sample efficiency. The performance results, obtained from simulation and
testbed experiments, demonstrate that our technique significantly improves the
execution cost of IoT applications up to 30\% compared to its counterparts.
- Abstract（参考訳）: Fog/Edgeコンピューティングは、エッジやクラウドサーバにタスクを配置することで、リソース制約のあるIoTデバイスをサポートする、新しいコンピューティングパラダイムである。
近年,フォグ/エッジコンピューティング環境において,集中型設定にのみ適する複数のDeep Reinforcement Learning(DRL)ベースの配置技術が提案されている。
優れたDRLエージェントのトレーニングには、トレーニングデータを取得するのにコストがかかる一方で、多様体トレーニングデータが必要である。
したがって、これらの集中型DRLベースの技術は、一般化性と迅速な適応性に欠けており、アプリケーションの配置問題に効率的に対処することができない。
さらに、多くのIoTアプリケーションは、さまざまなトポロジを持つDAG(Directed Acyclic Graphs)としてモデル化されている。
DAGベースのIoTアプリケーションの依存関係を満足すると、追加の制約が発生し、配置問題の複雑さが増大する。
これらの課題を克服するために,IMPortance 重み付きアクタラーナーアーキテクチャ (IMPALA) に基づくアクタ批判に基づく分散アプリケーション配置手法を提案する。
IMPALAは、エージェントの探索コストを大幅に削減する効率的な分散経験軌道生成で知られている。
さらに、最適解へのより高速な収束のために適応的なオフポリシー補正法を用いる。
提案手法では,繰り返しレイヤを用いて入力データの時間的挙動を捕捉し,サンプリング効率を向上させる。
シミュレーションおよびテストベッド実験から得られた性能結果から,本手法はiotアプリケーションの実行コストを最大で30%向上させることを示した。
関連論文リスト
- Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality [0.7421845364041001]
本研究は,流路制御のための深部強化学習法(DRL)の進歩である。
グループ不変ネットワークと位置エンコーディングをDRLアーキテクチャに統合することに注力する。
提案手法はRayleigh-B'enard対流のケーススタディを用いて検証した。
論文 参考訳（メタデータ） (2024-07-25T07:24:41Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - Personalized Federated Deep Reinforcement Learning-based Trajectory
Optimization for Multi-UAV Assisted Edge Computing [22.09756306579992]
UAVはエッジコンピューティング環境でインテリジェントなサーバとして機能し、通信システムのスループットを最大化するために飛行軌道を最適化する。
深部強化学習(DRL)に基づく軌道最適化アルゴリズムは、複雑な地形特徴と不十分な訓練データにより、訓練性能が低下する可能性がある。
本研究は,マルチUAV軌道最適化のための新しい手法,すなわちパーソナライズされた深部強化学習(PF-DRL)を提案する。
論文 参考訳（メタデータ） (2023-09-05T12:54:40Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。
ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。
FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文 参考訳（メタデータ） (2022-09-28T19:49:39Z) - A Transferable and Automatic Tuning of Deep Reinforcement Learning for
Cost Effective Phishing Detection [21.481974148873807]
現実の課題の多くは、複数の補完的な学習モデルのアンサンブルを配置する必要がある。
Deep Reinforcement Learning (DRL) はコスト効率のよい代替手段であり、検出器は前者の出力に基づいて動的に選択される。
論文 参考訳（メタデータ） (2022-09-19T14:09:07Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Towards AIOps in Edge Computing Environments [60.27785717687999]
本稿では,異種分散環境に適用可能なaiopsプラットフォームのシステム設計について述べる。
高頻度でメトリクスを収集し、エッジデバイス上で特定の異常検出アルゴリズムを直接実行することが可能である。
論文 参考訳（メタデータ） (2021-02-12T09:33:00Z) - Differentially Private Federated Learning for Resource-Constrained
Internet of Things [24.58409432248375]
フェデレーション学習は、中央にデータをアップロードすることなく、分散されたスマートデバイスから大量のデータを分析できる。
本稿では、IoTのリソース制約されたスマートデバイスにまたがるデータから機械学習モデルを効率的にトレーニングするためのDP-PASGDと呼ばれる新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-28T04:32:54Z) - Stacked Auto Encoder Based Deep Reinforcement Learning for Online
Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。
以下を含む深層強化学習(DRL)に基づく解法を提案する。
DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
論文 参考訳（メタデータ） (2020-01-24T23:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。