論文の概要: Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2407.14262v1
- Date: Fri, 19 Jul 2024 12:40:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:34:39.024495
- Title: Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
- Title（参考訳）: 強化学習に基づく運転戦略のハイパーパラメータ最適化
- Authors: Nihal Acharya Adde, Hanno Gottschalk, Andreas Ebert,
- Abstract要約: シミュレーション環境でRLエージェントを学習するために,効率的なグローバル最適化アルゴリズムを用いる。
既存の手動チューニングパラメータと比較して、4%の大幅な増加がある。
- 参考スコア（独自算出の注目度）: 1.3654846342364308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper focuses on hyperparameter optimization for autonomous driving strategies based on Reinforcement Learning. We provide a detailed description of training the RL agent in a simulation environment. Subsequently, we employ Efficient Global Optimization algorithm that uses Gaussian Process fitting for hyperparameter optimization in RL. Before this optimization phase, Gaussian process interpolation is applied to fit the surrogate model, for which the hyperparameter set is generated using Latin hypercube sampling. To accelerate the evaluation, parallelization techniques are employed. Following the hyperparameter optimization procedure, a set of hyperparameters is identified, resulting in a noteworthy enhancement in overall driving performance. There is a substantial increase of 4\% when compared to existing manually tuned parameters and the hyperparameters discovered during the initialization process using Latin hypercube sampling. After the optimization, we analyze the obtained results thoroughly and conduct a sensitivity analysis to assess the robustness and generalization capabilities of the learned autonomous driving strategies. The findings from this study contribute to the advancement of Gaussian process based Bayesian optimization to optimize the hyperparameters for autonomous driving in RL, providing valuable insights for the development of efficient and reliable autonomous driving systems.
- Abstract（参考訳）: 本稿では,強化学習に基づく自律走行戦略のハイパーパラメータ最適化に焦点を当てた。
シミュレーション環境におけるRLエージェントのトレーニングの詳細な説明を提供する。
次に、RLにおける超パラメータ最適化にガウスプロセスフィッティングを用いる効率的なグローバル最適化アルゴリズムを用いる。
この最適化フェーズの前に、ラテンハイパーキューブサンプリングを用いてハイパーパラメータセットを生成するサロゲートモデルに適合するためにガウス過程補間を適用する。
評価を加速するため、並列化技術が採用されている。
ハイパーパラメータ最適化手順の後、一連のハイパーパラメータが同定され、全体としての駆動性能が向上する。
既存の手動調整パラメータとラテンハイパーキューブサンプリングを用いて初期化過程で発見されたハイパーパラメータと比較すると, 実質的な増加率は4\%である。
最適化後、得られた結果を徹底的に分析し、学習した自律運転戦略の堅牢性と一般化能力を評価するための感度解析を行う。
本研究は, ガウス過程に基づくベイズ最適化の進歩に寄与し, RLにおける自律走行のためのハイパーパラメーターを最適化し, 効率的かつ信頼性の高い自律走行システムの開発に有用な知見を提供する。
関連論文リスト
- An investigation on the use of Large Language Models for hyperparameter tuning in Evolutionary Algorithms [4.0998481751764]
最適化ログをオンラインで分析するために,オープンソースのLarge Language Models (LLM) を2つ採用している。
本研究では, (1+1)-ESのステップサイズ適応の文脈におけるアプローチについて検討する。
論文 参考訳（メタデータ） (2024-08-05T13:20:41Z) - AutoRL Hyperparameter Landscapes [69.15927869840918]
強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。
我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。
これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
論文 参考訳（メタデータ） (2023-04-05T12:14:41Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Hyper-parameter optimization based on soft actor critic and hierarchical
mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。
ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文 参考訳（メタデータ） (2021-12-08T02:34:43Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳（メタデータ） (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate
models [0.4079265319364249]
現在の最先端の方法は、ランダムフォレストまたはガウスプロセスを利用してサーロゲートモデルを構築しています。
勾配向上に基づく新しいサロゲートモデルを提案する。
実験により,新しい手法は,ある程度の分類問題に対して,最先端技術より優れていることを示す。
論文 参考訳（メタデータ） (2021-01-06T22:07:19Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Towards Automatic Bayesian Optimization: A first step involving
acquisition functions [0.0]
ベイズ最適化 (Bayesian optimization) は、ブラックボックスの最適化、すなわち解析的表現にアクセスできない関数の最先端技術である。
獲得関数を自動調整するいくつかの手法を探索し,自動ベイズ最適化に対する最初の試みを提案する。
論文 参考訳（メタデータ） (2020-03-21T12:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。