論文の概要: Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves
- arxiv url: http://arxiv.org/abs/2404.10991v1
- Date: Wed, 17 Apr 2024 02:04:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 15:34:07.522261
- Title: Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves
- Title（参考訳）: 拡散波からのエネルギーの強化学習制御のための関数近似
- Authors: Soumyendu Sarkar, Vineet Gundecha, Sahand Ghorbanpour, Alexander Shmakov, Ashwin Ramesh Babu, Avisek Naug, Alexandre Pichard, Mathieu Cocho,
- Abstract要約: マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。
これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。
本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
- 参考スコア（独自算出の注目度）: 69.9104427437916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The industrial multi-generator Wave Energy Converters (WEC) must handle multiple simultaneous waves coming from different directions called spread waves. These complex devices in challenging circumstances need controllers with multiple objectives of energy capture efficiency, reduction of structural stress to limit maintenance, and proactive protection against high waves. The Multi-Agent Reinforcement Learning (MARL) controller trained with the Proximal Policy Optimization (PPO) algorithm can handle these complexities. In this paper, we explore different function approximations for the policy and critic networks in modeling the sequential nature of the system dynamics and find that they are key to better performance. We investigated the performance of a fully connected neural network (FCN), LSTM, and Transformer model variants with varying depths and gated residual connections. Our results show that the transformer model of moderate depth with gated residual connections around the multi-head attention, multi-layer perceptron, and the transformer block (STrXL) proposed in this paper is optimal and boosts energy efficiency by an average of 22.1% for these complex spread waves over the existing spring damper (SD) controller. Furthermore, unlike the default SD controller, the transformer controller almost eliminated the mechanical stress from the rotational yaw motion for angled waves. Demo: https://tinyurl.com/yueda3jh
- Abstract（参考訳）: 産業用マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。
これらの複雑なデバイスは、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。
プロキシポリシー最適化(PPO)アルゴリズムで訓練されたマルチエージェント強化学習(MARL)コントローラは、これらの複雑さを処理できる。
本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討し,それらが性能向上の鍵であることを確かめる。
完全連結ニューラルネットワーク (FCN) , LSTM, トランスフォーマーモデル, 各種深度, ゲート残差接続の性能について検討した。
以上の結果から,マルチヘッドアテンション,多層パーセプトロン,および変圧器ブロック(STrXL)の周囲にゲート状残留結合を有する中程度の深さの変圧器モデルが最適であり,既存のスプリングダンパ(SD)コントローラ上でのこれらの複雑な拡散波の平均22.1%のエネルギー効率を向上できることが示唆された。
さらに、デフォルトのSDコントローラとは異なり、変圧器コントローラは、角波の回転ヨー運動からほとんど機械的応力を排除した。
デモ:https://tinyurl.com/yueda3jh
関連論文リスト
- Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
提案手法を拡張・結合する新しい手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-02-01T19:47:31Z) - Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution [32.29219284419944]
クロスリファインメント適応型特徴変調トランス(CRAFT)
CRAFTの効率向上を目的とした周波数誘導後量子化(PTQ)手法を提案する。
実験結果から, CRAFTは, 完全精度と量子化のシナリオにおいて, 現在の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-09T15:38:36Z) - Private Federated Learning with Dynamic Power Control via Non-Coherent
Over-the-Air Computation [12.56727008993937]
動的電力制御に基づくスキームが提案されている。
提案手法は,時間同期誤差,チャネルのフェージング,ノイズの影響を緩和できることを示す。
論文 参考訳（メタデータ） (2023-08-05T13:46:50Z) - Skip Training for Multi-Agent Reinforcement Learning Controller for
Industrial Wave Energy Converters [94.84709449845352]
近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。
従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。
本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
論文 参考訳（メタデータ） (2022-09-13T00:20:31Z) - Stabilizing Voltage in Power Distribution Networks via Multi-Agent
Reinforcement Learning with Transformer [128.19212716007794]
本稿では,変圧器を用いたマルチエージェント・アクタ・クリティカル・フレームワーク(T-MAAC)を提案する。
さらに、電圧制御タスクに適した新しい補助タスクトレーニングプロセスを採用し、サンプル効率を向上する。
論文 参考訳（メタデータ） (2022-06-08T07:48:42Z) - Extensible circuit-QED architecture via amplitude- and
frequency-variable microwaves [52.77024349608834]
固定周波数キュービットとマイクロ波駆動カプラを組み合わせた回路QEDアーキテクチャを提案する。
ドライブパラメータは、選択的な2ビット結合とコヒーレントエラー抑制を可能にする調整可能なノブとして現れる。
論文 参考訳（メタデータ） (2022-04-17T22:49:56Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Learning OFDM Waveforms with PAPR and ACLR Constraints [15.423422040627331]
達成可能な情報レートを最大化しつつ,選択した制約を満たすOFDMベースの波形を設計するための学習ベース手法を提案する。
エンドツーエンドシステムは,PAPRとACLRの制約を満たすことができ,スループットを著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2021-10-21T08:58:59Z) - End-to-End Learning of OFDM Waveforms with PAPR and ACLR Constraints [15.423422040627331]
送信機にニューラルネットワーク(NN)を用いて,PAPRと隣接チャネルリーク比(ACLR)を制御可能な高次元変調方式を学習することを提案する。
2つのNNはOFDM上で動作し、PAPRとACLRの制約を強制するトレーニングアルゴリズムを使用して、エンドツーエンドで共同最適化される。
論文 参考訳（メタデータ） (2021-06-30T13:09:30Z) - High-bandwidth nonlinear control for soft actuators with recursive
network models [1.4174475093445231]
本稿では,Newton-Raphson を用いたソフトアクチュエータの高帯域幅,軽量,非線形出力追跡手法を提案する。
この手法により、従来のRNNモデルと比較してモデルサイズを縮小し、制御ループ周波数を増大させることができる。
論文 参考訳（メタデータ） (2021-01-04T18:12:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。