Fugu-MT 論文翻訳(概要): Federated Double Deep Q-learning for Joint Delay and Energy Minimization in IoT networks

論文の概要: Federated Double Deep Q-learning for Joint Delay and Energy Minimization in IoT networks

arxiv url: http://arxiv.org/abs/2104.11320v1
Date: Fri, 2 Apr 2021 18:41:59 GMT
ステータス: 処理完了
システム内更新日: 2023-04-05 19:30:33.378941
Title: Federated Double Deep Q-learning for Joint Delay and Energy Minimization in IoT networks
Title（参考訳）: IoTネットワークにおける統合遅延とエネルギー最小化のためのフェデレーションダブル深層Q-ラーニング
Authors: Sheyda Zarandi and Hina Tabassum
Abstract要約: 本稿では,多目的最適化問題の解法として,連合型深層強化学習フレームワークを提案する。各エピソードの最後に,IoTデバイス(エージェント)の学習速度を高めるために,フェデレーション学習(FDL)を取り入れた。提案するDDQNフレームワークの有効性を,学習速度の観点から検証した。
参考スコア（独自算出の注目度）: 12.599009485247283
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose a federated deep reinforcement learning framework to solve a multi-objective optimization problem, where we consider minimizing the expected long-term task completion delay and energy consumption of IoT devices. This is done by optimizing offloading decisions, computation resource allocation, and transmit power allocation. Since the formulated problem is a mixed-integer non-linear programming (MINLP), we first cast our problem as a multi-agent distributed deep reinforcement learning (DRL) problem and address it using double deep Q-network (DDQN), where the actions are offloading decisions. The immediate cost of each agent is calculated through solving either the transmit power optimization or local computation resource optimization, based on the selected offloading decisions (actions). Then, to enhance the learning speed of IoT devices (agents), we incorporate federated learning (FDL) at the end of each episode. FDL enhances the scalability of the proposed DRL framework, creates a context for cooperation between agents, and minimizes their privacy concerns. Our numerical results demonstrate the efficacy of our proposed federated DDQN framework in terms of learning speed compared to federated deep Q network (DQN) and non-federated DDQN algorithms. In addition, we investigate the impact of batch size, network layers, DDQN target network update frequency on the learning speed of the FDL.
Abstract（参考訳）: 本稿では,iotデバイスの長期的なタスク完了遅延とエネルギー消費を最小化する多目的最適化問題を解決するための,連合型深層強化学習フレームワークを提案する。これは、オフロード決定の最適化、計算リソース割り当て、電力割り当ての送信によって行われる。定式化問題は混合整数型非線形プログラミング (MINLP) であるため,我々はまずマルチエージェント分散深部強化学習 (DRL) 問題としてこの問題に対処し,その動作をオフロードするDouble Deep Q-network (DDQN) を用いて対処する。各エージェントの即時コストは、選択されたオフロード決定(アクション)に基づいて、送信電力最適化または局所計算資源最適化のいずれかを解いて算出される。次に,iotデバイス(agents)の学習速度を向上させるために,各エピソードの最後にフェデレーション学習(fdl)を導入する。 FDLはDRLフレームワークのスケーラビリティを高め、エージェント間の協調のためのコンテキストを作成し、プライバシの懸念を最小限にする。提案するDDQNフレームワークの有効性を,DQN(Federated Deep Q Network)や非Federated DDQNアルゴリズムと比較して,学習速度の観点から検証した。さらに,FDLの学習速度に及ぼすバッチサイズ,ネットワーク層,DDQNターゲットネットワーク更新頻度の影響について検討した。

関連論文リスト

Overlay-based Decentralized Federated Learning in Bandwidth-limited Networks [3.9162099309900835]
分散連合学習(DFL)は、中央集権的調整なしに分散エージェントを直接学習することで、人工知能(AI)の展開を促進するという約束を持っている。既存のソリューションの多くは、隣接するエージェントが基盤となる通信ネットワークに物理的に隣接しているという単純な仮定に基づいている。我々は,帯域幅制限ネットワークにおける通信要求と通信スケジュールを,基礎となるネットワークからの明示的な協力を必要とせず,共同で設計する。
論文参考訳（メタデータ） (2024-08-08T18:05:11Z)
DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-11T06:31:03Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Wirelessly Powered Federated Learning Networks: Joint Power Transfer, Data Sensing, Model Training, and Resource Allocation [24.077525032187893]
フェデレートラーニング(FL)は、無線ネットワークで多くの成功を収めている。 FLの実装は、モバイルデバイス(MD)のエネルギー制限と、MDにおけるトレーニングデータの可用性によって妨げられている。無線送電と持続可能なFLネットワークの統合
論文参考訳（メタデータ） (2023-08-09T13:38:58Z)
Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文参考訳（メタデータ） (2022-09-02T10:29:56Z)
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach [67.06539298956854]
フォグ無線アクセスネットワーク(フォグ無線アクセスネットワーク、F-RAN)は、ユーザのモバイルデバイス(MD)が計算タスクを近くのフォグアクセスポイント(F-AP)にオフロードできる有望な技術である。
論文参考訳（メタデータ） (2022-06-13T02:19:20Z)
Online Learning for Orchestration of Inference in Multi-User End-Edge-Cloud Networks [3.6076391721440633]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。本稿では、最適オフロードポリシーを学習する強化学習に基づく計算オフロードソリューションを提案する。我々のソリューションは、平均応答時間において、0.9%未満の精度で、最先端技術と比較して35%のスピードアップを提供する。
論文参考訳（メタデータ） (2022-02-21T21:41:29Z)
Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。無線システム上での高速応答および高精度FLスキームの検証が重要である。提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
論文参考訳（メタデータ） (2021-10-22T13:25:57Z)
Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。