論文の概要: Reinforcement learning informed evolutionary search for autonomous
systems testing
- arxiv url: http://arxiv.org/abs/2308.12762v1
- Date: Thu, 24 Aug 2023 13:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-25 13:55:49.440580
- Title: Reinforcement learning informed evolutionary search for autonomous
systems testing
- Title(参考訳): 強化学習による自律システムテストのための進化的探索
- Authors: Dmytro Humeniuk, Foutse Khomh, Giuliano Antoniol
- Abstract要約: 本稿では,ドメイン知識から得られるサロゲート報酬を用いて学習した強化学習(RL)エージェントを用いて進化的探索(ES)を強化することを提案する。
RIGAAとして知られる我々の手法では、まずRLエージェントを訓練し、問題の有用な制約を学習し、それを用いて探索アルゴリズムの初期集団の特定の部分を生成する。
RIGAAは自律性アリロボットの迷路生成と自律車線維持支援システムの道路トポロジー生成の2つのケーススタディで評価した。
- 参考スコア(独自算出の注目度): 15.210312666486029
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evolutionary search-based techniques are commonly used for testing autonomous
robotic systems. However, these approaches often rely on computationally
expensive simulator-based models for test scenario evaluation. To improve the
computational efficiency of the search-based testing, we propose augmenting the
evolutionary search (ES) with a reinforcement learning (RL) agent trained using
surrogate rewards derived from domain knowledge. In our approach, known as
RIGAA (Reinforcement learning Informed Genetic Algorithm for Autonomous systems
testing), we first train an RL agent to learn useful constraints of the problem
and then use it to produce a certain part of the initial population of the
search algorithm. By incorporating an RL agent into the search process, we aim
to guide the algorithm towards promising regions of the search space from the
start, enabling more efficient exploration of the solution space. We evaluate
RIGAA on two case studies: maze generation for an autonomous ant robot and road
topology generation for an autonomous vehicle lane keeping assist system. In
both case studies, RIGAA converges faster to fitter solutions and produces a
better test suite (in terms of average test scenario fitness and diversity).
RIGAA also outperforms the state-of-the-art tools for vehicle lane keeping
assist system testing, such as AmbieGen and Frenetic.
- Abstract(参考訳): 進化的探索に基づく技術は、自律ロボットシステムのテストに一般的に使用される。
しかしながら、これらのアプローチはテストシナリオ評価のために計算コストの高いシミュレータベースのモデルに依存することが多い。
探索に基づくテストの計算効率を向上させるために,ドメイン知識から得られるサロゲート報酬を用いて学習した強化学習(RL)エージェントを用いて進化探索(ES)を強化することを提案する。
RIGAA (Reinforcement Learning Informed Genetic Algorithm for autonomous system testing) と呼ばれる我々の手法では、まずRLエージェントを訓練し、問題の有用な制約を学習し、それを用いて探索アルゴリズムの初期集団の特定の部分を生成する。
探索プロセスにRLエージェントを組み込むことで,探索空間の有望な領域に向けてアルゴリズムを誘導し,解空間のより効率的な探索を可能にする。
RIGAAは自律性アリロボットの迷路生成と自律車線維持支援システムの道路トポロジー生成の2つのケーススタディで評価した。
両方のケーススタディにおいて、RIGAAはより高速にフィッターソリューションに収束し、(平均的なテストシナリオの適合性と多様性の観点から)より良いテストスイートを生成する。
RIGAAは、AmbieGenやFreneticなどのシステムテストを支援する車両レーンの最先端ツールも上回っている。
関連論文リスト
- SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳(メタデータ) (2024-01-29T10:01:10Z) - Modelling, Positioning, and Deep Reinforcement Learning Path Tracking
Control of Scaled Robotic Vehicles: Design and Experimental Validation [3.807917169053206]
スケールされたロボットカーは通常、車両の状態の推定と制御に特化したタスクを含む階層的な制御機構を備えている。
本稿では, (i) フェデレートされた拡張カルマンフィルタ (FEKF) と (ii) エキスパートデモレータを用いて訓練された新しい深部強化学習 (DRL) パストラッキングコントローラを提案する。
実験により検証されたモデルは、(i)FEKFの設計を支援するために使用され、(ii)DRLに基づく経路追跡アルゴリズムをトレーニングするためのデジタルツインとして機能する。
論文 参考訳(メタデータ) (2024-01-10T14:40:53Z) - Auto-FP: An Experimental Study of Automated Feature Preprocessing for
Tabular Data [10.740391800262685]
機能前処理は、優れたモデル品質を保証するための重要なステップです。
大規模な検索スペースのため、ブルートフォースソリューションは違法に高価である。
我々は、Auto-FP問題を解決するために、様々なHPOおよびNASアルゴリズムを拡張した。
論文 参考訳(メタデータ) (2023-10-04T02:46:44Z) - A Reinforcement Learning-assisted Genetic Programming Algorithm for Team
Formation Problem Considering Person-Job Matching [70.28786574064694]
解の質を高めるために強化学習支援遺伝的プログラミングアルゴリズム(RL-GP)を提案する。
効率的な学習を通じて得られる超ヒューリスティックなルールは、プロジェクトチームを形成する際の意思決定支援として利用することができる。
論文 参考訳(メタデータ) (2023-04-08T14:32:12Z) - Reward Uncertainty for Exploration in Preference-based Reinforcement
Learning [88.34958680436552]
好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。
我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。
実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
論文 参考訳(メタデータ) (2022-05-24T23:22:10Z) - Efficient and Effective Generation of Test Cases for Pedestrian
Detection -- Search-based Software Testing of Baidu Apollo in SVL [14.482670650074885]
本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。
本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。
また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
論文 参考訳(メタデータ) (2021-09-16T13:11:53Z) - Reinforcement Learning with Fast Stabilization in Linear Dynamical
Systems [91.43582419264763]
未知の安定化線形力学系におけるモデルベース強化学習(RL)について検討する。
本研究では,環境を効果的に探索することで,基盤システムの高速安定化を証明できるアルゴリズムを提案する。
提案アルゴリズムはエージェント環境相互作用の時間ステップで$tildemathcalO(sqrtT)$ regretを達成した。
論文 参考訳(メタデータ) (2020-07-23T23:06:40Z) - AutoOD: Automated Outlier Detection via Curiosity-guided Search and
Self-imitation Learning [72.99415402575886]
外乱検出は重要なデータマイニングの課題であり、多くの実用的応用がある。
本稿では,最適なニューラルネットワークモデルを探すことを目的とした自動外乱検出フレームワークであるAutoODを提案する。
さまざまな実世界のベンチマークデータセットに対する実験結果から、AutoODが特定したディープモデルが最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2020-06-19T18:57:51Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳(メタデータ) (2020-03-06T19:00:04Z) - Deep Reinforcement Learning for Autonomous Driving: A Survey [0.3694429692322631]
このレビューは、深層強化学習(DRL)アルゴリズムを要約し、自動走行タスクの分類を提供する。
また、振る舞いのクローン化、模倣学習、逆強化学習など、古典的なRLアルゴリズムとは無関係な隣接領域についても記述する。
トレーニングエージェントにおけるシミュレータの役割,RLにおける既存ソリューションの検証,テスト,堅牢化手法について論じる。
論文 参考訳(メタデータ) (2020-02-02T18:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。