論文の概要: Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric

• arxiv url: http://arxiv.org/abs/2502.17983v1
• Date: Tue, 25 Feb 2025 08:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:46.099832
• Title: Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric
• Title（参考訳）: 無線ネットワークにおけるディジタルツイン駆動型深層強化学習のための確率的性能境界:新しいディジタルツインバイシミュレーション指標
• Authors: Zhenyu Tao, Wei Xu, Xiaohu You,
• Abstract要約: ディジタルツイン(DT)駆動の深部強化学習(DRL)が,無線ネットワーク最適化のための有望なパラダイムとして登場した。 本稿では,DTと実世界の無線ネットワーク環境におけるマルコフ決定過程 (MDP) の差分を定量化するためのDTバイシミュレーション・メトリック (DT-BSM) を提案する。 DT-BSMの重み付け和と、DT-BSMにおけるMDP内のサブ最適値によって、実世界展開におけるDT-BSMのサブ最適値(regret)が束縛されることを実証する。
• 参考スコア（独自算出の注目度）: 17.041443813376546
• License:
• Abstract: Digital twin (DT)-driven deep reinforcement learning (DRL) has emerged as a promising paradigm for wireless network optimization, offering safe and efficient training environment for policy exploration. However, in theory existing methods cannot always guarantee real-world performance of DT-trained policies before actual deployment, due to the absence of a universal metric for assessing DT's ability to support reliable DRL training transferrable to physical networks. In this paper, we propose the DT bisimulation metric (DT-BSM), a novel metric based on the Wasserstein distance, to quantify the discrepancy between Markov decision processes (MDPs) in both the DT and the corresponding real-world wireless network environment. We prove that for any DT-trained policy, the sub-optimality of its performance (regret) in the real-world deployment is bounded by a weighted sum of the DT-BSM and its sub-optimality within the MDP in the DT. Then, a modified DT-BSM based on the total variation distance is also introduced to avoid the prohibitive calculation complexity of Wasserstein distance for large-scale wireless network scenarios. Further, to tackle the challenge of obtaining accurate transition probabilities of the MDP in real world for the DT-BSM calculation, we propose an empirical DT-BSM method based on statistical sampling. We prove that the empirical DT-BSM always converges to the desired theoretical one, and quantitatively establish the relationship between the required sample size and the target level of approximation accuracy. Numerical experiments validate this first theoretical finding on the provable and calculable performance bounds for DT-driven DRL.
• Abstract（参考訳）: ディジタルツイン(DT)駆動の深層強化学習(DRL)は、無線ネットワーク最適化のための有望なパラダイムとして登場し、政策探索のための安全かつ効率的なトレーニング環境を提供している。 しかし、理論上は、DTの信頼性の高いDRLトレーニングトランスファーをサポートする能力を評価する普遍的な基準が存在しないため、DTトレーニングされたポリシーの実際の性能を実際の展開前に常に保証することはできない。 本稿では,ワッサーシュタイン距離に基づく新しい測度であるDT-BSMを提案し,DTと実世界の無線ネットワーク環境におけるマルコフ決定過程(MDP)の差を定量化する。 我々は、DT-BSMの重み付け和とDT-BSMにおけるMDP内のサブ最適値によって、実世界の展開におけるDT-BSMの性能のサブ最適値(regret)が制限されることを証明した。 また、大規模な無線ネットワークシナリオにおいて、ワッサーシュタイン距離の計算を禁止しないよう、全変動距離に基づく修正DT-BSMも導入した。 さらに、DT-BSM計算において、実世界のMDPの正確な遷移確率を得るための挑戦として、統計的サンプリングに基づく経験的DT-BSM法を提案する。 実験的なDT-BSMは、常に所望の理論に収束し、必要なサンプルサイズと目標近似精度の関係を定量的に確立する。 数値実験により、DT駆動DRLの証明可能および計算可能な性能境界に関するこの最初の理論的発見が検証された。

関連論文リスト

• Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method [0.0]
  我々は、ディープニューラルネットワーク(DNN)を訓練するためのAPTS(Additively Preconditioned Trust-Region Strategy)の変種を提案する。 提案手法はデータ並列手法を用いて非線形最適化戦略で使用される非線形プリコンディショナーを構築する。 MNISTとCIFAR-10データセットを用いて提案したAPTS変種の性能を示す。
  論文  参考訳（メタデータ） (2025-02-07T18:11:33Z)
• Diffusion Models for Smarter UAVs: Decision-Making and Modeling [15.093742222365156]
  無人航空機(UAV)は、現代の通信ネットワークにおいてますます採用されている。 しかし、意思決定とデジタルモデリングの課題は、その急速な進歩を妨げ続けている。 本稿では,これらの課題を効果的に解決するために,DMとRL,DTの統合について検討する。
  論文  参考訳（メタデータ） (2025-01-10T09:59:16Z)
• Constructing and Evaluating Digital Twins: An Intelligent Framework for DT Development [11.40908718824589]
  デジタルツインズ(DT)の開発は、制御されたデジタル空間における複雑なシステムをシミュレートし最適化するための変革的な進歩を表している。 本稿では,アルゴリズム性能試験におけるDTの精度と有用性を高めるために,DTの構築と評価のためのインテリジェントなフレームワークを提案する。 本稿では,Deep Learning-based policy gradient techniqueを統合してDTパラメータを動的に調整し,物理システムのデジタル複製における高い忠実性を確保する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T01:45:18Z)
• Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
  連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。 Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。 我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
  論文  参考訳（メタデータ） (2024-01-16T16:28:32Z)
• Data-Driven Physics-Informed Neural Networks: A Digital Twin Perspective [1.1874952582465603]
  本研究では,ディジタル双生児(DT)の実現に向けた物理インフォームドニューラルネットワーク(PINN)の可能性について検討する。 PINNのメッシュフリーフレームワークにおいて,コロケーション点に対する各種適応サンプリング手法の有効性を検証した。 データ駆動型PINNフレームワークの全体的なパフォーマンスについて検討し、DTシナリオで取得したデータセットを利用することができる。
  論文  参考訳（メタデータ） (2024-01-05T16:31:16Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
  リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。 既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。 本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:52:45Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)
• Generalized Decision Transformer for Offline Hindsight Information Matching [16.7594941269479]
  本稿では、後視情報マッチング(HIM)問題を解くための一般化決定変換器(GDT)を提案する。 特徴関数と反因果アグリゲータの異なる選択が, 将来の異なる統計値に適合する新しいカテゴリーDT (CDT) と双方向DT (BDT) にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2021-11-19T18:56:13Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。