論文の概要: Deep Reinforcement Learning Aided Platoon Control Relying on V2X Information

• arxiv url: http://arxiv.org/abs/2203.15781v1
• Date: Mon, 28 Mar 2022 02:11:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 16:48:05.021353
• Title: Deep Reinforcement Learning Aided Platoon Control Relying on V2X Information
• Title（参考訳）: v2x情報に基づく深部強化学習支援小隊制御
• Authors: Lei Lei, Tong Liu, Kan Zheng and Lajos Hanzo
• Abstract要約: 車両間通信(V2X)が小隊制御性能に及ぼす影響について検討した。 我々の目的は、最も適切な状態空間を構築するために、車両間で共有されるべき特定の情報の集合を見つけることである。 状態空間に含めると、より高い状態次元を持つ負の効果を相殺する確率が高いため、より有益な情報が伝達においてより高い優先度で与えられる。
• 参考スコア（独自算出の注目度）: 78.18186960475974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The impact of Vehicle-to-Everything (V2X) communications on platoon control performance is investigated. Platoon control is essentially a sequential stochastic decision problem (SSDP), which can be solved by Deep Reinforcement Learning (DRL) to deal with both the control constraints and uncertainty in the platoon leading vehicle's behavior. In this context, the value of V2X communications for DRL-based platoon controllers is studied with an emphasis on the tradeoff between the gain of including exogenous information in the system state for reducing uncertainty and the performance erosion due to the curse-of-dimensionality. Our objective is to find the specific set of information that should be shared among the vehicles for the construction of the most appropriate state space. SSDP models are conceived for platoon control under different information topologies (IFT) by taking into account `just sufficient' information. Furthermore, theorems are established for comparing the performance of their optimal policies. In order to determine whether a piece of information should or should not be transmitted for improving the DRL-based control policy, we quantify its value by deriving the conditional KL divergence of the transition models. More meritorious information is given higher priority in transmission, since including it in the state space has a higher probability in offsetting the negative effect of having higher state dimensions. Finally, simulation results are provided to illustrate the theoretical analysis.
• Abstract（参考訳）: 車両間通信(V2X)が小隊制御性能に及ぼす影響について検討した。 プラトン制御は基本的にシーケンシャル確率決定問題(SSDP)であり、これは深層強化学習(DRL)によって解決され、小隊を先導する車両の動作における制御制約と不確実性の両方に対処できる。 この文脈では、DRLベースの小隊制御装置におけるV2X通信の値は、不確実性を低減するシステム状態に外因性情報を含む利点と、寸法の呪いによる性能侵食とのトレードオフに重点を置いて検討される。 我々の目標は、最も適切な状態空間を構築するために、車両間で共有されるべき特定の情報セットを見つけることである。 SSDPモデルは、「正しい」情報を考慮し、異なる情報トポロジ(IFT)の下で小隊制御のために考案される。 さらに、最適ポリシーのパフォーマンスを比較するために定理が確立される。 DRLに基づく制御ポリシを改善するために、情報の一部が送信されるべきか否かを決定するために、遷移モデルの条件付きKL分散を導出して、その値を定量化する。 状態空間に含むことは、より高い状態次元を持つ負の効果をオフセットする確率が高いため、より優れた情報が伝達に優先される。 最後に、理論解析を説明するためにシミュレーション結果を提供する。

関連論文リスト

• Multi-Timescale Control and Communications with Deep Reinforcement Learning -- Part I: Communication-Aware Vehicle Control [15.390800228536536]
  深層強化学習(DRL)に基づく多段階制御と通信の協調最適化フレームワークを提案する。 本稿では,まず通信対応DRLベースのPCサブプロブレムと制御対応DRLベースのRRAサブプロブレムに分解する。 ランダムな観察遅延下でのPC性能向上のため、PC状態空間を観察遅延とPC動作履歴で拡張する。 拡張状態MDPの最適ポリシは、観測遅延を伴う元のPC問題に最適であることが証明された。
  論文  参考訳（メタデータ） (2023-11-19T09:51:58Z)
• Optimal Transport-Guided Conditional Score-Based Diffusion Models [63.14903268958398]
  条件付きスコアベース拡散モデル(SBDM)は、条件付きデータを条件としてターゲットデータの条件付き生成を行い、画像翻訳において大きな成功を収めた。 本稿では, 最適輸送誘導条件付きスコアベース拡散モデル(OTCS)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T13:28:44Z)
• Efficient Reinforcement Learning with Impaired Observability: Learning to Act with Delayed and Missing State Observations [92.25604137490168]
  本稿では,制御系における効率的な強化学習に関する理論的研究を紹介する。 遅延および欠落した観測条件において,RL に対して $tildemathcalO(sqrtrm poly(H) SAK)$ という形でアルゴリズムを提示し,その上限と下限をほぼ最適に設定する。
  論文  参考訳（メタデータ） (2023-06-02T02:46:39Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• Development of a CAV-based Intersection Control System and Corridor Level Impact Assessment [0.696125353550498]
  本稿では,画素予約アルゴリズムとDeep Reinforcement Learning (DRL)決定論理を組み合わせたCAVの信号自由交叉制御システムを提案する。 提案モデルでは,他のCAV制御システムと比較して,中等度,高,極端の容積状態において50%,29%,および23%の遅延を減少させる。
  論文  参考訳（メタデータ） (2022-08-21T21:56:20Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• Attacking Deep Reinforcement Learning-Based Traffic Signal Control Systems with Colluding Vehicles [4.2455052426413085]
  本稿では,DRLをベースとしたATCSに対して,車両群が連携して偽情報を送信できる,新たな課題を定式化する。 CollusionVehは、道路状況エンコーダ、車両インタプリタ、通信機構で構成される汎用的で効果的な車両処理フレームワークである。 この研究結果は、ATCSの信頼性と堅牢性を改善し、スマートモビリティシステムを保護するのに役立つだろう。
  論文  参考訳（メタデータ） (2021-11-04T13:10:33Z)
• How Are Learned Perception-Based Controllers Impacted by the Limits of Robust Control? [17.775878968489852]
  制御性/可観測性グラムの最小固有値のようなシステム特性の観点から、最適制御問題の難しさを再考する。 データ駆動コントローラのパフォーマンスとサンプルの複雑さを予測するタスクの定量化可能な制御と知覚的難易度メトリクスはどの程度ですか? その結果,頑健な制御の基本的限界は,学習した知覚に基づく制御器のサンプル効率と性能に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2021-04-02T00:31:31Z)
• Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning [101.64598586454571]
  強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。 車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。 その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
  論文  参考訳（メタデータ） (2020-12-07T02:09:15Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。