論文の概要: Age of Semantics in Cooperative Communications: To Expedite Simulation
Towards Real via Offline Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2209.08947v1
- Date: Mon, 19 Sep 2022 11:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 16:22:29.218488
- Title: Age of Semantics in Cooperative Communications: To Expedite Simulation
Towards Real via Offline Reinforcement Learning
- Title（参考訳）: 協調コミュニケーションにおけるセマンティクスの時代--オフライン強化学習によるシミュレーションの高速化に向けて
- Authors: Xianfu Chen and Zhifeng Zhao and Shiwen Mao and Celimuge Wu and
Honggang Zhang and Mehdi Bennis
- Abstract要約: 協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。
オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。
そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
- 参考スコア（独自算出の注目度）: 53.18060442931179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The age of information metric fails to correctly describe the intrinsic
semantics of a status update. In an intelligent reflecting surface-aided
cooperative relay communication system, we propose the age of semantics (AoS)
for measuring semantics freshness of the status updates. Specifically, we focus
on the status updating from a source node (SN) to the destination, which is
formulated as a Markov decision process (MDP). The objective of the SN is to
maximize the expected satisfaction of AoS and energy consumption under the
maximum transmit power constraint. To seek the optimal control policy, we first
derive an online deep actor-critic (DAC) learning scheme under the on-policy
temporal difference learning framework. However, implementing the online DAC in
practice poses the key challenge in infinitely repeated interactions between
the SN and the system, which can be dangerous particularly during the
exploration. We then put forward a novel offline DAC scheme, which estimates
the optimal control policy from a previously collected dataset without any
further interactions with the system. Numerical experiments verify the
theoretical results and show that our offline DAC scheme significantly
outperforms the online DAC scheme and the most representative baselines in
terms of mean utility, demonstrating strong robustness to dataset quality.
- Abstract（参考訳）: 情報メトリクスの年齢は、ステータス更新の本質的なセマンティクスを正確に記述できない。
本稿では,リレー通信の知的リフレクティング面支援システムにおいて,状態更新のセマンティクス鮮度を測定するためのセマンティクス時代(aos)を提案する。
具体的には、ソースノード(SN)から宛先へのステータス更新に注目し、これはマルコフ決定プロセス(MDP)として定式化される。
snの目的は、最大送信電力制約下でのaosの期待満足度とエネルギー消費を最大化することである。
最適な制御方針を求めるために,まず,オンライン深層アクタ-クリティック(dac)学習方式を,オンポリシー時間差学習フレームワークを用いて導出する。
しかし、実際にオンラインDACを実装することは、SNとシステムの間の無限に繰り返される相互作用において重要な課題となる。
次に,従来収集したデータセットから最適制御ポリシを推定するオフラインdacスキームを,システムとのインタラクションを必要とせずに提案する。
数値実験により,我々のオフラインDACスキームがオンラインDACスキームと最も代表的なベースラインを平均効用で著しく上回り,データセットの品質に強い堅牢性を示すことが示された。
関連論文リスト
- Scalable Offline Reinforcement Learning for Mean Field Games [6.8267158622784745]
Off-MMDは、純粋なオフラインデータを用いて平均フィールドゲームにおける平衡ポリシーを近似する新しい平均フィールドRLアルゴリズムである。
我々のアルゴリズムは複雑な環境にスケールし、群衆探索やナビゲーションといったベンチマークタスクで強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-10-23T14:16:34Z) - RIS-Based On-the-Air Semantic Communications -- a Diffractional Deep
Neural Network Approach [10.626169088908867]
現在のAIベースのセマンティックコミュニケーション手法は実装にデジタルハードウェアを必要とする。
RISベースのセマンティックコミュニケーションは、光速計算、計算能力の低さ、複数のタスクを同時に処理する能力など、魅力的な機能を提供する。
論文 参考訳（メタデータ） (2023-12-01T12:15:49Z) - Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement
Learning Approach [58.911515417156174]
我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。
本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。
また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
論文 参考訳（メタデータ） (2023-12-01T01:30:49Z) - Semantic-aware Transmission Scheduling: a Monotonicity-driven Deep
Reinforcement Learning Approach [39.681075180578986]
6G時代のサイバー物理システムでは、アプリケーションレベルの性能を保証するためにセマンティック通信が必要である。
本稿では,まず,最適なセマンティック・アウェア・スケジューリング・ポリシーの基本的特性について検討する。
そこで我々は,理論ガイドラインを活用することにより,高度な深層強化学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-05-23T05:45:22Z) - Causal Semantic Communication for Digital Twins: A Generalizable
Imitation Learning Approach [74.25870052841226]
デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。
無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。
DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
論文 参考訳（メタデータ） (2023-04-25T00:15:00Z) - Active RIS-aided EH-NOMA Networks: A Deep Reinforcement Learning
Approach [66.53364438507208]
アクティブな再構成可能なインテリジェントサーフェス(RIS)支援マルチユーザダウンリンク通信システムについて検討した。
非直交多重アクセス(NOMA)はスペクトル効率を向上させるために使用され、活性RISはエネルギー回収(EH)によって駆動される。
ユーザの動的通信状態を予測するために,高度なLSTMベースのアルゴリズムを開発した。
増幅行列と位相シフト行列RISを結合制御するためにDDPGに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-11T13:16:28Z) - Model-based Deep Learning Receiver Design for Rate-Splitting Multiple
Access [65.21117658030235]
本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。
MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。
その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
論文 参考訳（メタデータ） (2022-05-02T12:23:55Z) - Wireless Resource Management in Intelligent Semantic Communication
Networks [15.613654766345702]
ISC対応ヘテロジニアスネットワーク(ISC-HetNet)におけるユーザアソシエーション(UA)と帯域幅割り当ての問題に対処する。
目的を達成するためのプログラミング手法と、UAとBAの最適性に到達するための第2段階のアルゴリズムを含む2段階の解を提案する。
論文 参考訳（メタデータ） (2022-02-15T18:28:28Z) - A Deep Value-network Based Approach for Multi-Driver Order Dispatching [55.36656442934531]
そこで本研究では,注文発送のための深層強化学習に基づくソリューションを提案する。
DiDiの配車プラットフォーム上で大規模なオンラインA/Bテストを実施している。
その結果,CVNetは近年提案されているディスパッチ手法よりも一貫して優れていた。
論文 参考訳（メタデータ） (2021-06-08T16:27:04Z) - Counterfactual Learning of Stochastic Policies with Continuous Actions:
from Models to Offline Evaluation [41.21447375318793]
コンテクストとアクションを融合したカーネルを組み込んだモデリング戦略を導入する。
対実学習の最適化の側面が重要であることを実証的に示す。
実世界のログシステムにおけるオフラインポリシーの評価プロトコルを提案する。
論文 参考訳（メタデータ） (2020-04-22T07:42:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。