論文の概要: Controlling the Probability of Unknown Unknowns in Pre-Deployment Testing of AI Systems
- arxiv url: http://arxiv.org/abs/2611.15835v1
- Date: Wed, 11 Nov 2026 18:46:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.253139
- Title: Controlling the Probability of Unknown Unknowns in Pre-Deployment Testing of AI Systems
- Title(参考訳): AIシステムのデプロイ前テストにおける未知の未知の確率の制御
- Abstract要約: 未確認の故障モードを観測する確率が十分に小さい場合に証明するアルゴリズムを開発する。
我々の問題は、古典的なグッドチューリング推定器を生み出した欠落質量推定問題の逐次変種と解釈できる。
- 参考スコア(独自算出の注目度): 32.58262673949235
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In pre-deployment testing of AI systems such as AI agents, a developer can often deal with known failure modes (e.g., leaking API keys, deleting important databases, or installing a malicious package) by implementing fixes or making contingency plans for when the same issue might occur again. What is more challenging are the unknown unknowns: the unseen failure modes that haven't surfaced during testing. The decision to stop testing and deploy therefore faces an inherent tradeoff: continue testing to observe more behaviors, at the cost of time and resources, or stop testing and deploy, at the risk of failure modes remaining undiscovered. How then does the developer decide when they have tested enough? To answer this, we develop an algorithm that certifies when the probability of observing an unseen failure mode is sufficiently small. The algorithm constructs an anytime-valid upper confidence sequence on this quantity, so the developer can repeatedly test a system, inspect the bound, and decide to stop when it falls below a chosen threshold without invalidating the statistical guarantee. Our problem can be interpreted as a sequential variant of the missing-mass estimation problem which gave rise to the classic Good-Turing estimator (Good, 1953). On SWE-Chat, a dataset of real-world coding agent traces (Baumann et al., 2026), we implement our procedure and show that it achieves tighter upper bounds than a simple multiple-testing corrected Good-Turing baseline, and even dominates a fixed-horizon (non-multiple-testing-corrected) Good-Turing upper confidence bound, which is not anytime valid. Additionally, to better match realistic evaluation pipelines, we extend our method to handle sampling from a different task distribution and imperfect automated failure labeling.
- Abstract(参考訳): AIエージェントなどのAIシステムの事前デプロイテストでは、開発者は、修正を実装したり、同じ問題が発生した場合の緊急計画を作成することで、既知の障害モード(APIキーのリーク、重要なデータベースの削除、悪意のあるパッケージのインストールなど)に対処することができる。
もっと難しいのは、未知の未知の存在です。テスト中に表面化していない、目に見えない障害モードです。
より多くの振る舞いを観察し、時間とリソースを犠牲にするか、テストとデプロイを中止し、障害モードが未発見のまま残るリスクを負う。
十分なテストを行った場合、開発者はどのように決めるのでしょう?
これに対応するために,未確認の故障モードを観測する確率が十分に小さい場合に証明するアルゴリズムを開発した。
アルゴリズムは、この量に基づいて任意の有意な上位信頼シーケンスを構築するので、開発者は、統計的保証を無効にすることなく、システムを繰り返しテストし、境界を検査し、選択されたしきい値以下に落ちたときに停止することを決定できる。
我々の問題は、古典的なグッドチューリング推定器(Good, 1953)を生み出した欠落質量推定問題の逐次変種と解釈できる。
SWE-Chat, a dataset of real-world coding agent traces (Baumann et al , 2026)では、簡単な多重テスト修正グッドチューリングベースラインよりも厳密な上限を達成し、固定水平(非多重テスト補正)グッドチューリングアッパー信頼境界を支配下においていることを示す。
さらに、現実的な評価パイプラインの整合性を改善するために、異なるタスク分布からのサンプリングと不完全な自動障害ラベリングを処理できるように、我々の手法を拡張します。
関連論文リスト
- PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。
PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。
PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
論文 参考訳(メタデータ) (2026-10-03T20:03:43Z) - VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
論文 参考訳(メタデータ) (2026-03-16T21:14:28Z) - Failure Prediction at Runtime for Generative Robot Policies [6.375597233389154]
実行中の早期の障害予測は、人間中心で安全クリティカルな環境でロボットをデプロイするために不可欠である。
本稿では,フェールデータを必要としない生成ロボットポリシーの故障予測フレームワークであるFIPERを提案する。
その結果、FIPERは実際の障害と良質なOOD状況とをよく区別し、既存の手法よりも正確に早期に障害を予測できることがわかった。
論文 参考訳(メタデータ) (2025-10-10T15:09:27Z) - Centaur: Robust End-to-End Autonomous Driving with Test-Time Training [84.78837437133234]
我々は,手作業によるルールやコスト関数に頼ることなく,テストタイムトレーニングを通じてプランナーの行動を更新するCentaurを提案する。
本稿では,クラスタ・エントロピー(Cluster Entropy,クラスタ・エントロピー)と呼ばれる新しい不確実性尺度を開発した。
論文 参考訳(メタデータ) (2025-03-14T17:59:41Z) - Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。
まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。
我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
論文 参考訳(メタデータ) (2025-03-11T15:47:12Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳(メタデータ) (2022-12-14T18:08:42Z) - Tracking the risk of a deployed model and detecting harmful distribution
shifts [105.27463615756733]
実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。
我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
論文 参考訳(メタデータ) (2021-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。