論文の概要: Deep Reinforcement Learning for Simultaneous Sensing and Channel Access in Cognitive Networks

• arxiv url: http://arxiv.org/abs/2110.14541v1
• Date: Sun, 24 Oct 2021 05:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 15:37:34.117575
• Title: Deep Reinforcement Learning for Simultaneous Sensing and Channel Access in Cognitive Networks
• Title（参考訳）: 認知ネットワークにおける同時センシングとチャネルアクセスのための深層強化学習
• Authors: Yoel Bokobza, Ron Dabora and Kobi Cohen
• Abstract要約: 本稿では,認知無線ネットワークにおけるダイナミックスペクトルアクセス(DSA)の問題について考察する。 我々は、Double Deep Q-network for Sensing and Access (DDQSA)と呼ばれる、深層Q-ラーニングによるアクセスポリシーとセンシングポリシーの両方を学ぶ新しいアルゴリズムを開発した。 この結果から,DDQSAはセンサとチャネルアクセスの両方を実装したポリシーを学習し,既存のアプローチよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 18.00472365047275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of dynamic spectrum access (DSA) in cognitive wireless networks, where only partial observations are available to the users due to narrowband sensing and transmissions. The cognitive network consists of primary users (PUs) and a secondary user (SU), which operate in a time duplexing regime. The traffic pattern for each PU is assumed to be unknown to the SU and is modeled as a finite-memory Markov chain. Since observations are partial, then both channel sensing and access actions affect the throughput. The objective is to maximize the SU's long-term throughput. To achieve this goal, we develop a novel algorithm that learns both access and sensing policies via deep Q-learning, dubbed Double Deep Q-network for Sensing and Access (DDQSA). To the best of our knowledge, this is the first paper that solves both sensing and access policies for DSA via deep Q-learning. Second, we analyze the optimal policy theoretically to validate the performance of DDQSA. Although the general DSA problem is P-SPACE hard, we derive the optimal policy explicitly for a common model of a cyclic user dynamics. Our results show that DDQSA learns a policy that implements both sensing and channel access, and significantly outperforms existing approaches.
• Abstract（参考訳）: 我々は,狭帯域センシングと伝送により,利用者にのみ部分的観測が可能となる認知型無線ネットワークにおける動的スペクトルアクセス(dsa)の問題を考える。 認知ネットワークは一次ユーザ(PU)と二次ユーザ(SU)で構成される。 各PUのトラフィックパターンはSUに未知であると仮定され、有限メモリマルコフ連鎖としてモデル化される。 観測は部分的であるため、チャネルセンシングとアクセスアクションの両方がスループットに影響する。 目的は、SUの長期スループットを最大化することである。 この目的を達成するために,Double Deep Q-network for Sensing and Access (DDQSA)と呼ばれる,深層Q-ラーニングによるアクセスポリシーとセンシングポリシーの両方を学習するアルゴリズムを開発した。 私たちの知る限りでは、深層q-learningを通じてdsaのセンシングとアクセスポリシーの両方を解決する最初の論文です。 第2に,DDQSAの性能評価のための最適政策を理論的に分析する。 一般のDSA問題はP-SPACE困難であるが,循環型ユーザダイナミクスの共通モデルに対する最適ポリシーを明示的に導出する。 その結果,DDQSAはセンサとチャネルアクセスの両方を実装したポリシーを学習し,既存のアプローチよりも優れていた。

関連論文リスト

• From $r$ to $Q^*$: Your Language Model is Secretly a Q-Function [50.812404038684505]
  我々は,ベルマン方程式を満たす一般逆Q-ラーニングアルゴリズムとして,トークンレベルMDPのDPOを導出できることを示す。 本稿では,マルチターン対話における情報活用,推論,エージェント応用,マルチモデルシステムのエンドツーエンドトレーニングなど,我々の研究の応用について論じる。
  論文  参考訳（メタデータ） (2024-04-18T17:37:02Z)
• Active search and coverage using point-cloud reinforcement learning [50.741409008225766]
  本稿では,目的探索とカバレッジのためのエンドツーエンドの深層強化学習ソリューションを提案する。 RLの深い階層的特徴学習は有効であり、FPS(Fastthest Point sample)を用いることで点数を削減できることを示す。 また、ポイントクラウドに対するマルチヘッドの注意がエージェントの学習を高速化する上で有効であるが、同じ結果に収束することを示す。
  論文  参考訳（メタデータ） (2023-12-18T18:16:30Z)
• Utilizing Background Knowledge for Robust Reasoning over Traffic Situations [63.45021731775964]
  我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。 本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。 交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
  論文  参考訳（メタデータ） (2022-12-04T09:17:24Z)
• M$^2$DQN: A Robust Method for Accelerating Deep Q-learning Network [6.689964384669018]
  我々は,Deep Q-Network(M$2$DQN)におけるMax-Mean損失を利用したフレームワークを提案する。 トレーニングステップで1バッチの経験をサンプリングする代わりに、経験の再生からいくつかのバッチをサンプリングし、これらのバッチの最大TDエラーなどのパラメータを更新する。 ジムゲームにおけるDouble DQN(Double DQN)を用いて,このフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-16T09:20:35Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)
• Distributed Deep Reinforcement Learning for Adaptive Medium Access and Modulation in Shared Spectrum [42.54329256803276]
  本研究では,非ライセンス共有スペクトルで動作する基地局の分散競合に基づく媒体アクセスについて検討する。 我々は,ネットワーク全体のダウンリンクスループットを最大化するために,競合と適応変調の両方のための学習に基づくアルゴリズムを考案した。 実証的に、政策勾配法によって蓄積された(比例的公正性)報酬は、ジェニーエイドによる適応エネルギー検出閾値よりも著しく高い。
  論文  参考訳（メタデータ） (2021-09-24T03:33:45Z)
• Cooperative Multi-Agent Reinforcement Learning Based Distributed Dynamic Spectrum Access in Cognitive Radio Networks [46.723006378363785]
  ダイナミックスペクトルアクセス(DSA)は、非効率的なスペクトル利用の問題を改善するための、有望なパラダイムである。 本稿では,一般的な認知無線ネットワークにおけるマルチユーザに対する分散DSA問題について検討する。 我々は、各認知ユーザに対する状態の部分的観測可能性に対処するために、DRQN(Deep Recurrent Q-network)を用いている。
  論文  参考訳（メタデータ） (2021-06-17T06:52:21Z)
• Distributed Deep Reinforcement Learning for Collaborative Spectrum Sharing [29.23509739013885]
  本稿では,中央管理を伴わない分散スペクトル協調の問題点について述べる。 ゲーム理論の洞察と深層Q-ラーニングを組み合わせることで,スペクトル協調問題に対する新たな最適解を提供する。
  論文  参考訳（メタデータ） (2021-04-06T04:33:06Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。