論文の概要: Coverage Aware Active Evaluation for Failure Discovery with Paired Systems
- arxiv url: http://arxiv.org/abs/2608.13719v1
- Date: Thu, 13 Aug 2026 19:26:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.200157
- Title: Coverage Aware Active Evaluation for Failure Discovery with Paired Systems
- Title（参考訳）: ペアシステムによる故障発見のためのカバーウェアアクティブ評価
- Abstract要約: 本稿では,プロキシ評価と限られた対象システム結果を組み合わせた適応的故障検出手法を提案する。
提案手法は,ランダムサンプリングやアクティブラーニングのベースラインとして最大2$times$の障害を検出する。
- 参考スコア（独自算出の注目度）: 32.870747441157654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous systems can fail in rare and heterogeneous ways, making real-world failure discovery difficult under limited testing budgets. Although cheaper proxies such as simulators, lower-fidelity systems, or related policies can be sampled extensively to find failures, proxy failures often do not transfer to the real world due to sim-to-real and system-to-system gaps. The key challenge is therefore to effectively leverage proxy system information for accurate prediction of severe target system failures. We propose an adaptive failure discovery method that combines proxy evaluations with limited target system results to guide scenario selection for target system testing. Our method learns a local predictor of target risk by correcting proxy failure signals using control-variate-inspired residual modeling. To find failures that are both likely and diverse, we combine this predictor with a support-aware mutual-information objective that favors realistic, well-supported regions while expanding coverage across failure modes. Across autonomous driving, manipulation, and quadruped velocity-tracking tasks, our method discovers up to 2$\times$ as many failures as random sampling and active-learning baselines, including severe and diverse failures missed by competing methods.
- Abstract（参考訳）: 自律システムは稀で異種な方法で失敗する可能性があり、限られたテスト予算の下では現実の障害発見が困難になる。
シミュレーター、低忠実度システム、関連するポリシーなどの安価なプロキシは、失敗を見つけるために広範囲にサンプリングすることができるが、プロキシの失敗は、シミュレート・トゥ・リアルとシステム・ツー・システムギャップのために現実の世界に移行しないことが多い。
したがって、重要な課題は、厳重なターゲットシステム障害の正確な予測にプロキシシステム情報を効果的に活用することである。
本稿では,プロキシ評価と限られた対象システム結果を組み合わせることで,対象システムテストのシナリオ選択をガイドする適応的障害検出手法を提案する。
本手法は,制御変数にインスパイアされた残差モデルを用いて,プロキシ障害信号の補正により,ターゲットリスクの局所予測を学習する。
可能性と多様性の両方の障害を見つけるために、我々は、この予測器と、現実的で、よくサポートされた領域を好んで、障害モードを越えてカバー範囲を広げるサポート対応の相互情報目標を組み合わせます。
自動走行、操作、四倍速追従のタスク全体にわたって、提案手法はランダムサンプリングやアクティブラーニングのベースラインとして最大2$\times$の障害を発見し、競合する手法で欠落した重大かつ多種多様な障害を含む。
関連論文リスト
- Diffusion-Guided Search via Exponential Tilting (DiffTilt): An Application to Falsification of Safety-Critical Systems [3.963282613048148]
既存のファルシフィケーションアプローチは、環境とシステム実行に関する共同分布を規定する条件付きサンプリング戦略に依存している。
本稿では,拡散モデルにより誘導される共同分布を環境や実行に対して指数関数的に傾ける分散フレームワークであるDiffTiltを開発する。
論文 参考訳（メタデータ） (2026-07-25T10:28:47Z) - Importance Sampling and PCA for Finding Failures in Commercial Autonomous Vehicles [17.175499236764697]
自律システムにおけるまれな障害を発見する手法は、これまで、単純な学術的な運転スタックを用いたシミュレーションで、ほとんど完全に実証されてきた。
商用の自動運転トラックスタックに2つの希少な発見アルゴリズムを適用することで、このギャップに対処する。
両アルゴリズムは,従来のモンテカルロシミュレーションでは起こらない,マージおよびカットイン操作において,シミュレーションによる衝突を検出する。
論文 参考訳（メタデータ） (2026-07-20T16:07:20Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - Failure Identification in Imitation Learning Via Statistical and Semantic Filtering [2.2515832864485024]
ロボット工学における模倣学習(IL)ポリシは、制御された設定において強力なパフォーマンスを提供するが、実際のデプロイメントでは脆弱である。
本稿では、ポリシーに依存しない障害検出モジュールFIDeL(Failure Identification in Demonstration Learning)を紹介する。
また,ロボット工学における故障検出のための実世界のタスクのマルチモーダルデータセットであるBotFailsを紹介した。
論文 参考訳（メタデータ） (2026-04-15T12:27:32Z) - ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。
ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
論文 参考訳（メタデータ） (2026-02-13T14:33:13Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳（メタデータ） (2025-12-01T17:57:27Z) - CLIP Meets Diffusion: A Synergistic Approach to Anomaly Detection [49.11819337853632]
異常検出は、異常の定義の曖昧さ、異常型の多様性、トレーニングデータの不足による複雑な問題である。
識別的基盤モデルと生成的基礎モデルの両方を活用するCLIPfusionを提案する。
本手法は, 異常検出の多面的課題に対処する上で, マルチモーダル・マルチモデル融合の有効性を裏付けるものである。
論文 参考訳（メタデータ） (2025-06-13T13:30:15Z) - Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。
まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。
我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
論文 参考訳（メタデータ） (2025-03-11T15:47:12Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳（メタデータ） (2023-04-21T02:20:24Z) - Adaptive Failure Search Using Critical States from Domain Experts [9.93890332477992]
フェールサーチは、シミュレーションまたは実世界のテストにおいて、かなりの走行距離をロギングすることで行うことができる。
ASTはマルコフ決定プロセスとして失敗探索の問題を提起する手法である。
ASTフレームワークにクリティカルステートを組み込むことで,安全性違反の増大を伴う障害シナリオが生成されることを示す。
論文 参考訳（メタデータ） (2023-04-01T18:14:41Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:47:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。