論文の概要: Efficient Beam Selection for ISAC in Cell-Free Massive MIMO via Digital Twin-Assisted Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2506.18560v1
• Date: Mon, 23 Jun 2025 12:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 14:36:56.668545
• Title: Efficient Beam Selection for ISAC in Cell-Free Massive MIMO via Digital Twin-Assisted Deep Reinforcement Learning
• Title（参考訳）: デジタル双極子支援深部補強学習による無細胞MIMOにおけるISACの効率的なビーム選択
• Authors: Jiexin Zhang, Shu Xu, Chunguo Li, Yongming Huang, Luxi Yang,
• Abstract要約: 我々は、誤報率制約の下で複数の受信APに対して共同目標検出確率の分布を導出する。 次に、マルコフ決定過程(MDP)としてビーム選択手順を定式化する。 リアルタイムエージェント環境相互作用の高コスト化とそれに伴うリスクを解消するために,新しいディジタルツイン(DT)支援オフラインDRL手法を提案する。
• 参考スコア（独自算出の注目度）: 37.540612510652174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beamforming enhances signal strength and quality by focusing energy in specific directions. This capability is particularly crucial in cell-free integrated sensing and communication (ISAC) systems, where multiple distributed access points (APs) collaborate to provide both communication and sensing services. In this work, we first derive the distribution of joint target detection probabilities across multiple receiving APs under false alarm rate constraints, and then formulate the beam selection procedure as a Markov decision process (MDP). We establish a deep reinforcement learning (DRL) framework, in which reward shaping and sinusoidal embedding are introduced to facilitate agent learning. To eliminate the high costs and associated risks of real-time agent-environment interactions, we further propose a novel digital twin (DT)-assisted offline DRL approach. Different from traditional online DRL, a conditional generative adversarial network (cGAN)-based DT module, operating as a replica of the real world, is meticulously designed to generate virtual state-action transition pairs and enrich data diversity, enabling offline adjustment of the agent's policy. Additionally, we address the out-of-distribution issue by incorporating an extra penalty term into the loss function design. The convergency of agent-DT interaction and the upper bound of the Q-error function are theoretically derived. Numerical results demonstrate the remarkable performance of our proposed approach, which significantly reduces online interaction overhead while maintaining effective beam selection across diverse conditions including strict false alarm control, low signal-to-noise ratios, and high target velocities.
• Abstract（参考訳）: ビームフォーミングは特定の方向にエネルギーを集中させることで信号強度と品質を高める。 この機能は、複数の分散アクセスポイント(AP)が協調して通信とセンシングの両方を提供する、無細胞統合センシング通信(ISAC)システムにおいて特に重要である。 本研究は,まず,誤報率制約下で複数の受信AP間での関節目標検出確率の分布を導出し,次にマルコフ決定過程(MDP)としてビーム選択手順を定式化する。 エージェント学習を容易にするために,報酬形成と正弦波埋め込みを導入した深層強化学習(DRL)フレームワークを構築した。 リアルタイムエージェント環境相互作用の高コスト化とそれに伴うリスクを解消するために,新たなディジタルツイン(DT)支援オフラインDRL手法を提案する。 従来のオンラインDRLとは違い、実世界のレプリカとして動作する条件付き生成逆数ネットワーク(cGAN)ベースのDTモジュールは、仮想状態-動作遷移ペアを生成し、データの多様性を豊かにするように設計されており、エージェントのポリシーをオフラインで調整することができる。 さらに,損失関数設計に付加的なペナルティ項を組み込むことで,配当外問題に対処する。 エージェント-DT相互作用の収束性とQ-エラー関数の上界は理論的に導出される。 提案手法は,厳密な擬似アラーム制御,低信号対雑音比,高目標速度など,様々な条件における効率的なビーム選択を維持しつつ,オンラインインタラクションのオーバーヘッドを大幅に低減する。

関連論文リスト

• Generative AI-Aided QoE Maximization for RIS-Assisted Digital Twin Interaction [6.54922175613871]
  本研究では、再構成可能なインテリジェントサーフェス(RIS)支援ディジタルツイン(DT)と不確実な進化との相互作用に対するQoE(Quality of Experience)-awareリソース割り当て問題について検討する。 我々のゴールは、様々なDTシーンにおけるDTインタラクションにおける全モバイルユーザの主観的および客観的QoEの総和を最大化することである。 我々は、ゼロ強制最適化(PG-ZFO)と統合されたプロンプト誘導決定変換器と呼ばれる新しいGAI支援手法を提案する。
  論文  参考訳（メタデータ） (2025-05-15T02:00:29Z)
• Toward Dependency Dynamics in Multi-Agent Reinforcement Learning for Traffic Signal Control [8.312659530314937]
  適応的な信号制御のためのデータ駆動型アプローチとして強化学習(RL)が出現する。 本稿では,DQN-DPUS(Deep Q-Network)のための動的強化更新戦略を提案する。 提案手法は最適探索を犠牲にすることなく収束速度を向上できることを示す。
  論文  参考訳（メタデータ） (2025-02-23T15:29:12Z)
• Joint Transmit and Pinching Beamforming for Pinching Antenna Systems (PASS): Optimization-Based or Learning-Based? [89.05848771674773]
  MISO (Multiple-input Single-output) フレームワークを提案する。 それは複数の導波路で構成されており、多数の低コストアンテナ(PA)を備えている。 PAの位置は、大規模パスと空間の両方にまたがるように再構成することができる。
  論文  参考訳（メタデータ） (2025-02-12T18:54:10Z)
• Collaborative Ground-Space Communications via Evolutionary Multi-objective Deep Reinforcement Learning [113.48727062141764]
  地中直接通信を実現するために,分散コラボレーティブビームフォーミング(DCB)に基づくアップリンク通信パラダイムを提案する。 DCBは、低軌道(LEO)衛星と効率的な直接接続を確立することができない端末を分散アンテナとして扱う。 本稿では,進化的多目的深層強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-11T03:13:02Z)
• Conservative and Risk-Aware Offline Multi-Agent Reinforcement Learning [33.48496141312585]
  強化学習(Reinforcement Learning, RL)は、次世代無線ネットワークのような複雑なエンジニアリングシステムの制御と最適化に広く採用されている。 RLを採用する上で重要な課題は、物理的環境への直接アクセスの必要性である。 本稿では、分散RLと保守的Q-ラーニングを統合したオフラインMARL方式を提案する。
  論文  参考訳（メタデータ） (2024-02-13T12:49:22Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
  Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。 我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。 過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T01:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。