論文の概要: AVDDPG: Federated reinforcement learning applied to autonomous platoon
control
- arxiv url: http://arxiv.org/abs/2207.03484v1
- Date: Tue, 5 Jul 2022 21:30:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-17 18:17:13.342385
- Title: AVDDPG: Federated reinforcement learning applied to autonomous platoon
control
- Title(参考訳): AVDDPG:フェデレーション強化学習の自律小隊制御への応用
- Authors: Christian Boin and Lei Lei and Simon X. Yang
- Abstract要約: フェデレーション強化学習(FL)は、人工知能(AI)研究コミュニティにおける議論の進化のトピックである。
自律走行車(AV)プラトンに適用されるFRLに関する研究はほとんどない。
我々は、カスタムAV小隊環境上でのFRLフレームワークの設計と実装により、AV小隊化を改善する手段として、FRLの有効性を探求する。
- 参考スコア(独自算出の注目度): 3.9475750501752516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since 2016 federated learning (FL) has been an evolving topic of discussion
in the artificial intelligence (AI) research community. Applications of FL led
to the development and study of federated reinforcement learning (FRL). Few
works exist on the topic of FRL applied to autonomous vehicle (AV) platoons. In
addition, most FRL works choose a single aggregation method (usually weight or
gradient aggregation). We explore FRL's effectiveness as a means to improve AV
platooning by designing and implementing an FRL framework atop a custom AV
platoon environment. The application of FRL in AV platooning is studied under
two scenarios: (1) Inter-platoon FRL (Inter-FRL) where FRL is applied to AVs
across different platoons; (2) Intra-platoon FRL (Intra-FRL) where FRL is
applied to AVs within a single platoon. Both Inter-FRL and Intra-FRL are
applied to a custom AV platooning environment using both gradient and weight
aggregation to observe the performance effects FRL can have on AV platoons
relative to an AV platooning environment trained without FRL. It is concluded
that Intra-FRL using weight aggregation (Intra-FRLWA) provides the best
performance for controlling an AV platoon. In addition, we found that weight
aggregation in FRL for AV platooning provides increases in performance relative
to gradient aggregation. Finally, a performance analysis is conducted for
Intra-FRLWA versus a platooning environment without FRL for platoons of length
3, 4 and 5 vehicles. It is concluded that Intra-FRLWA largely out-performs the
platooning environment that is trained without FRL.
- Abstract(参考訳): 2016年以降、フェデレーション・ラーニング(FL)は人工知能(AI)研究コミュニティにおける議論の進化のトピックとなっている。
FLの応用は、連合強化学習(FRL)の開発と研究につながった。
自律走行車(AV)プラトンに適用されるFRLに関する研究はほとんどない。
加えて、ほとんどのFRL研究は単一の集約法(通常は重みまたは勾配の集約)を選択する。
AV小隊環境上でのFRLフレームワークの設計と実装により、AV小隊化を改善する手段としてFRLの有効性を検討する。
AVプラトン化におけるFRLの適用は,(1)プラトン間FRL(Inter-FRL),(2)プラトン間FRL(Intra-FRL),(2)プラトン間FRL(Intra-FRL)の2つのシナリオで研究される。
In-FRLとIntra-FRLの両方を、勾配と重み付けの両方を用いてカスタムのAV小隊環境に適用し、FRLなしで訓練されたAV小隊環境と比較して、FRLがAV小隊に与える影響を観察する。
Intra-FRLWA (Intra-FRLWA) を用いたFRLは, AV小隊の制御に最適である。
さらに, AV小隊におけるFRLの重み凝集は, 勾配凝集に対する性能向上をもたらすことがわかった。
最後に,長さ3,4,5両の小隊に対してFRLのない小隊環境に対して,FRLWA内における性能解析を行った。
FRLWAはFRLを使わずに訓練された小隊環境よりも優れていた。
関連論文リスト
- Leveraging Reward Consistency for Interpretable Feature Discovery in
Reinforcement Learning [69.19840497497503]
一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。
本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。
我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
論文 参考訳(メタデータ) (2023-09-04T09:09:54Z) - Making Offline RL Online: Collaborative World Models for Offline Visual
Reinforcement Learning [99.59728624855566]
本稿では,潜在的利点の探索を妨げることなく,より柔軟な値推定制約を構築することを試みる。
鍵となるアイデアは、オフラインポリシの"テストベッド"として、オンライン形式で簡単に操作可能な、市販のRLシミュレータを活用することだ。
我々は、状態と報酬空間におけるドメイン間の差異を軽減するモデルベースのRLアプローチであるCoWorldを紹介する。
論文 参考訳(メタデータ) (2023-05-24T15:45:35Z) - Local Environment Poisoning Attacks on Federated Reinforcement Learning [1.5020330976600738]
フェデレートラーニング(FL)は、従来の強化ラーニング(RL)タスクを解決する一般的なツールとなっている。
フェデレートされたメカニズムは、トレーニングされたポリシーを誤解させる可能性のある悪意のあるエージェントによる毒殺システムを公開する。
本稿では、FRL中毒を最適化問題として特徴付けるための一般的な枠組みを提案し、政策に基づくFRLに適用可能な中毒プロトコルを設計する。
論文 参考訳(メタデータ) (2023-03-05T17:44:23Z) - Transmit Power Control for Indoor Small Cells: A Method Based on
Federated Reinforcement Learning [2.392377380146]
本稿では,フェデレート強化学習(FRL)に基づく分散セル電力制御方式を提案する。
異なる屋内環境のモデルはトレーニングプロセス中にグローバルモデルに集約され、中央サーバは更新されたモデルを各クライアントにブロードキャストする。
一般化実験の結果, FRLモデルをベースモデルとして用いることにより, 新しい環境下でのモデルの収束速度が向上することが示された。
論文 参考訳(メタデータ) (2022-08-31T14:46:09Z) - All You Need Is Supervised Learning: From Imitation Learning to Meta-RL
With Upside Down RL [0.5735035463793008]
上向き強化学習(UDRL)は、従来のRLの目的関数の戻り値の使用をひっくり返す。
UDRLは純粋に教師付き学習に基づいており、ブートストラップ、オフポリシー修正、割引係数といった、RLのいくつかの大きな問題を回避している。
論文 参考訳(メタデータ) (2022-02-24T08:44:11Z) - Federated Reinforcement Learning: Techniques, Applications, and Open
Challenges [4.749929332500373]
連合強化学習(FRL)は、強化学習(RL)における新興かつ有望な分野である
FRLアルゴリズムは、水平連邦強化学習(HFRL)と垂直連邦強化学習(VFRL)の2つのカテゴリに分けられる。
論文 参考訳(メタデータ) (2021-08-26T16:22:49Z) - Vehicular Cooperative Perception Through Action Branching and Federated
Reinforcement Learning [101.64598586454571]
強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。
車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。
その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
論文 参考訳(メタデータ) (2020-12-07T02:09:15Z) - Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。
ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。
オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
論文 参考訳(メタデータ) (2020-09-14T19:11:13Z) - Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。
現在の最先端の手法に匹敵する幅と精度を実現している。
論文 参考訳(メタデータ) (2020-07-09T13:06:07Z) - MOReL : Model-Based Offline Reinforcement Learning [49.30091375141527]
オフライン強化学習(RL)では、環境との歴史的相互作用のデータセットのみに基づく高報酬政策を学習することが目的である。
モデルベースオフラインRLのためのアルゴリズムフレームワークMOReLを提案する。
オフラインRLベンチマークにおいてMOReLが最先端の結果と一致するか,あるいは超えるかを示す。
論文 参考訳(メタデータ) (2020-05-12T17:52:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。