論文の概要: Failure-Based Testing for Deep Reinforcement Learning Agents
- arxiv url: http://arxiv.org/abs/2606.31372v1
- Date: Tue, 30 Jun 2026 09:05:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.150048
- Title: Failure-Based Testing for Deep Reinforcement Learning Agents
- Title（参考訳）: 深部強化学習エージェントの故障試験
- Abstract要約: Prior Random Testingは、Deep Reinforcement Learning (DRL)エージェントの障害ベースのテスト手法である。
PRTは障害が発生しやすい領域を優先し、効率的な障害検出を容易にする。
PRTは、最初の失敗を見つけるコストとテストケースの多様性の両方の観点から、トップパフォーマーにランク付けします。
- 参考スコア（独自算出の注目度）: 1.8397573213627283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Reinforcement Learning (DRL) agents have been widely adopted across diverse domains to address challenging decision-making problems, such as autonomous driving and robotic control. Given that many of these applications are safety- and security-critical, rigorous testing of DRL agents is indispensable. Existing testing methods are typically guided by reward signals to detect failures. However, for well-trained agents, whose performance approaches optimal levels in standard operating conditions, reward signals remain generally high, making current methods ineffective at uncovering critical failures. To address these challenges, we propose a novel failure-based method that leverages task-induced failure insights to enhance failure detection capability while reducing the number of tests required. Since DRL agents are inherently designed with human-defined tasks, they provide valuable cues about task difficulty. Intuitively, a DRL agent is more likely to fail when confronted with a more difficult task; therefore, PRT prioritizes these tasks. Building on this foundation, we propose Prior Random Testing, a black-box failure-based testing method that enables targeted prioritization while preserving the diversity of generated test cases. Guided by task-induced failure insights, PRT prioritizes failure-prone regions of the input domain, thereby facilitating efficient failure detection. PRT is evaluated on four widely used benchmarks and compared with different state-of-the-art methods including fuzzing, search-based and generative-based methods. PRT ranks among the top performers in terms of both the cost of finding the first failure and the diversity of test cases. Notably, compared to random testing, PRT achieves better diversity and reduces the testing cost by over 50%.
- Abstract（参考訳）: 深層強化学習(DRL)エージェントは、自律運転やロボット制御といった困難な意思決定問題に対処するために、様々な領域で広く採用されている。
DRLエージェントの安全性とセキュリティにクリティカルな厳密なテストが不可欠である。
既存のテスト方法は通常、障害を検出するための報酬信号によって導かれる。
しかし、標準的な運転条件の最適レベルに性能が近づいた十分に訓練されたエージェントに対しては、報奨信号は一般に高く保たれており、現行の手法では致命的な故障を発見できない。
これらの課題に対処するために,タスクによる障害洞察を活用して,必要なテスト数を削減しつつ,障害検出能力を向上する,新たな障害ベースの手法を提案する。
DRLエージェントは本質的に人間の定義したタスクで設計されているため、タスクの難しさに関する貴重な手がかりを提供する。
直感的には、DRLエージェントは、より難しいタスクに直面したときに失敗する可能性が高いため、PRTはこれらのタスクを優先順位付けする。
この基盤を基盤として、生成されたテストケースの多様性を保ちながら、ターゲットの優先順位付けを可能にするブラックボックス障害ベースのテスト手法である、事前ランダムテストを提案する。
PRTはタスクによって引き起こされる障害の洞察によって導かれ、入力ドメインの障害が発生しやすい領域を優先し、効率的な障害検出を容易にする。
PRTは、広く使われている4つのベンチマークで評価され、ファジング、サーチベース、ジェネレーティブベースの方法を含む最先端の手法と比較される。
PRTは、最初の失敗を見つけるコストとテストケースの多様性の両方の観点から、トップパフォーマーにランク付けします。
特に、ランダムテストと比較して、PRTはより良い多様性を実現し、テストコストを50%以上削減します。
関連論文リスト
- Learning from the Test: Self-Referential Differential Testing for Deep RL Agents [10.95548749552727]
深層強化学習(DRL)は複雑な意思決定問題において大きな成功を収めた。
現在の研究は主に安全クリティカルな障害の検出に重点を置いており、しばしば政策の最適性を無視している。
本稿では,DRLエージェントの安全性クリティカルバグと最適バグの両方を自動的に識別するフレームワークであるDeltaを提案する。
論文 参考訳（メタデータ） (2026-08-23T08:22:27Z) - FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。
FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文 参考訳（メタデータ） (2026-08-09T08:22:57Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search [72.87861928940929]
バウンダリ・アウェア・ポリシー・オプティマイゼーション(BAPO)は、信頼性の高い境界認識を精度を損なうことなく育成する新しいRLフレームワークである。
BAPOは2つの重要な要素を導入する: (i) グループベースの境界対応報酬(i) 推論が限界に達したときのみIDK応答を促進させる) 適応報酬変調器(ii) 早期探索中にこの報酬を戦略的に停止させ、モデルがIDKをショートカットとして利用するのを防ぐ。
論文 参考訳（メタデータ） (2026-01-16T07:06:58Z) - An Empirical Study of Testing Practices in Open Source AI Agent Frameworks and Agentic Applications [12.166151903597445]
ファンデーションモデル(FM)ベースのAIエージェントは、さまざまなドメインで急速に採用されている。
その固有の非決定主義と非再現性は、テストと品質保証の課題を引き起こす。
AIエージェントエコシステムにおけるテストプラクティスの大規模な実証的研究を初めて実施する。
論文 参考訳（メタデータ） (2025-09-23T16:02:09Z) - Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。
EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
論文 参考訳（メタデータ） (2025-04-17T17:53:54Z) - Testing of Deep Reinforcement Learning Agents with Surrogate Models [10.243488468625786]
近年,Deep Reinforcement Learning (DRL) が研究コミュニティから注目を集めている。
本稿では,このようなエージェントを探索的に検証する手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T06:21:39Z) - A Search-Based Testing Approach for Deep Reinforcement Learning Agents [1.1580916951856255]
本稿では、DRLエージェントのポリシーをテストするために、検索に基づく強化学習エージェント(STARLA)のテスト手法を提案する。
我々は、機械学習モデルと専用の遺伝的アルゴリズムを使用して、故障エピソードに対する探索を絞り込みます。
論文 参考訳（メタデータ） (2022-06-15T20:51:33Z) - GAIL-PT: A Generic Intelligent Penetration Testing Framework with
Generative Adversarial Imitation Learning [2.3309136820332164]
RLをベースとしたPTにおいて,エージェントがよりよい判断を下すための専門家の知識を導入する。
GAIL-PTと表記される汎用的知的浸透テストフレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-05T04:01:17Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z) - Robust Deep Reinforcement Learning against Adversarial Perturbations on
State Observations [88.94162416324505]
深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。
観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。
本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
論文 参考訳（メタデータ） (2020-03-19T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。