論文の概要: Learning from the Test: Self-Referential Differential Testing for Deep RL Agents

• arxiv url: http://arxiv.org/abs/2608.22284v1
• Date: Sun, 23 Aug 2026 08:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.696137
• Title: Learning from the Test: Self-Referential Differential Testing for Deep RL Agents
• Title（参考訳）: テストから学ぶ:深部RLエージェントの自己参照差分試験
• Abstract要約: 深層強化学習(DRL)は複雑な意思決定問題において大きな成功を収めた。 現在の研究は主に安全クリティカルな障害の検出に重点を置いており、しばしば政策の最適性を無視している。 本稿では,DRLエージェントの安全性クリティカルバグと最適バグの両方を自動的に識別するフレームワークであるDeltaを提案する。
• 参考スコア（独自算出の注目度）: 10.95548749552727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Reinforcement Learning (DRL) has achieved significant success in complex decision-making problems. As DRL systems are increasingly deployed in real-world applications, ensuring their quality and reliability is paramount. Current works primarily focus on detecting safety-critical failures, often neglecting policy optimality, which can lead to reduced efficiency, user distrust, and economic losses. This oversight, compounded by the inherent "testing oracle problem" for optimality, leaves a significant gap in comprehensively evaluating DRL systems. To address this gap, we propose Delta (Differential Testing for DRL Agents), a novel and comprehensive framework that automatically identifies both safety-critical and optimality bugs in DRL agents. Delta employs a two-phase approach: (1) Safety Testing, where the Agent Under Test (AUT) is evaluated for catastrophic failures while collecting data from its decision-making policy, and (2) Optimality Testing, where this collected data from the prior phase is used to train a challenger agent via Offline Reinforcement Learning. Differential testing is then performed by comparing the challenger agent against the AUT; instances where the challenger achieves higher cumulative rewards indicate optimality issues in the AUT. We demonstrate Delta's effectiveness across five environments. We investigate the effectiveness of three offline RL algorithms (BC, BCQ, and CQL) in generating challenger agents. Experimental results demonstrate that safety testing datasets are valuable for training competent DRL agents. Challenger agents trained with BCQ proved most effective for identifying optimality issues within the framework of Delta. Across the five environments, Delta uncovered an average of 2,518 optimality issues, outperforming the baseline methods by 50.2%.
• Abstract（参考訳）: 深層強化学習(DRL)は複雑な意思決定問題において大きな成功を収めた。 DRLシステムが現実世界のアプリケーションにますますデプロイされるにつれて、その品質と信頼性が最優先される。 現在の研究は、しばしば政策の最適性を無視し、効率の低下、ユーザーの不信、経済的な損失につながる安全クリティカルな障害を検出することに重点を置いている。 この監視は、最適性に固有の「テストのオラクル問題」が組み合わさったものであり、DRLシステムの総合的な評価において大きなギャップを残している。 DRLエージェントの安全性と最適性の両方のバグを自動的に識別する,新規かつ包括的なフレームワークであるDelta(Differential Testing for DRL Agents)を提案する。 Deltaは,(1)エージェント・アンダー・テスト(AUT)が意思決定方針からデータを収集しながら破滅的障害に対して評価される安全テスト,(2)最適テスト,(2)前フェーズから収集したデータをオフライン強化学習を介してチャレンジャーエージェントを訓練する最適テストという2段階のアプローチを採用している。 次に、挑戦者エージェントとAUTを比較して差分試験を行い、挑戦者がより高い累積報酬を達成した場合、AUTの最適性問題を示す。 5つの環境にまたがってDeltaの有効性を実証する。 チャレンジエージェント生成における3つのオフラインRLアルゴリズム(BC, BCQ, CQL)の有効性について検討する。 実験の結果,安全試験データセットはDRLエージェントの訓練に有用であることが確認された。 BCQで訓練されたチャレンジャーエージェントは、Deltaのフレームワーク内で最適な問題を特定するのに最も効果的であった。 5つの環境の中で、デルタは平均2,518の最適性問題を発見し、ベースライン法を50.2%上回った。

関連論文リスト

• Failure-Based Testing for Deep Reinforcement Learning Agents [1.8397573213627283]
  Prior Random Testingは、Deep Reinforcement Learning (DRL)エージェントの障害ベースのテスト手法である。 PRTは障害が発生しやすい領域を優先し、効率的な障害検出を容易にする。 PRTは、最初の失敗を見つけるコストとテストケースの多様性の両方の観点から、トップパフォーマーにランク付けします。
  論文  参考訳（メタデータ） (2026-06-30T09:05:29Z)
• Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork [45.63941874462679]
  In-Context Reinforcement Learning (ICRL)は、ファンデーションエージェントが新しいタスクに即時に適応することを可能にするが、Ad-Hoc Teamwork (AHT)において、未知のパートナとの協調が不要な場合、その有効性は未検討のままである。 本稿では,Overcooked-V2 の高スループット JAX 実装をベースに構築された大規模ベンチマーク ICRL4AHT を紹介する。 我々は, アルゴリズム蒸留 (AD) やDPT (Decision-Pretrained Transformer) など, 数百万の遷移にまたがる代表的履歴条件ICRLアルゴリズムを評価する。
  論文  参考訳（メタデータ） (2026-05-23T06:39:21Z)
• AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
  試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。 本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。 Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-17T12:27:36Z)
• Dynasto: Validity-Aware Dynamic-Static Parameter Optimization for Autonomous Driving Testing [6.969678532857503]
  自律運転システムにおける安全クリティカルな障害を明らかにするための2段階のテスト手法であるDynastoを提案する。 まず、時間論理に基づく妥当性基準を用いた強化学習を用いて、敵エージェントを訓練する。 第二に、遺伝的アルゴリズムは、敵の失敗を誘発する振る舞いを再生しながら初期条件を探索し、RLエージェントだけでは発見できない追加の失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-03-22T22:35:30Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Testing of Deep Reinforcement Learning Agents with Surrogate Models [10.243488468625786]
  近年,Deep Reinforcement Learning (DRL) が研究コミュニティから注目を集めている。 本稿では,このようなエージェントを探索的に検証する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:21:39Z)
• A Search-Based Testing Approach for Deep Reinforcement Learning Agents [1.1580916951856255]
  本稿では、DRLエージェントのポリシーをテストするために、検索に基づく強化学習エージェント(STARLA)のテスト手法を提案する。 我々は、機械学習モデルと専用の遺伝的アルゴリズムを使用して、故障エピソードに対する探索を絞り込みます。
  論文  参考訳（メタデータ） (2022-06-15T20:51:33Z)
• Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
  深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。 主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。 理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:29:49Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。