論文の概要: Adaptive auditing of AI systems with anytime-valid guarantees

• arxiv url: http://arxiv.org/abs/2605.07002v1
• Date: Thu, 07 May 2026 22:33:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.655045
• Title: Adaptive auditing of AI systems with anytime-valid guarantees
• Title（参考訳）: 有効保証付きAIシステムの適応監査
• Authors: Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng,
• Abstract要約: 2つの'重複'の観点から仮説テストフレームワークを導入します。 我々は,オーディタを「賭けによる検証」の実行として形式化し,これは重複するヌル仮説をテストするための同時eプロセスに変換する。 提案手法は, 任意の値の型I誤差制御を維持し, 事前特定試験法より優れており, 統計的に厳密な結論に到達でき, 時には20の観測しか得られない。
• 参考スコア（独自算出の注目度）: 8.752768302067638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major bottleneck in characterizing the failure modes of generative AI systems is the cost and time of annotation and evaluation. Consequently, adaptive testing paradigms have gained popularity, where one opportunistically decides which cases and how many to annotate based on past results. While this framework is highly practical, its extreme flexibility makes it difficult to draw statistically rigorous conclusions, as it violates classical assumptions: the number of observations is typically limited (often 10 to 50 cases) and decisions regarding sampling and stopping are made in the midst of data collection rather than based a pre-specified rule. To characterize what statistical inferences can be drawn from highly adaptive audits, we introduce a hypothesis testing framework from two 'dueling' perspectives: (i) the model's null that asserts there is no failure mode with performance below a target threshold versus (ii) the auditor's null that asserts they have a sampling strategy that will uncover a failure mode. Leveraging Safe Anytime-Valid Inference (SAVI), we formalize the auditor as conducting 'testing by betting', which translates into simultaneous e-processes for testing the dueling null hypotheses. Furthermore, if the auditor is sufficiently powerful, we prove that these two hypotheses are asymptotically inverses of each other, in that passage of a stringent audit does in fact certify the AI system as being globally robust. Empirically, we demonstrate that our proposed testing procedures maintain anytime-valid type-I error control, outperform pre-specified testing methods, and can reach statistically rigorous conclusions sometimes with as few as 20 observations.
• Abstract（参考訳）: 生成AIシステムの障害モードを特徴づける大きなボトルネックは、アノテーションと評価のコストと時間である。 その結果、適応テストパラダイムが人気を博し、過去の結果に基づいてどのケースとアノテートする回数を同時に決定する。 このフレームワークは非常に実用的だが、その極端な柔軟性は統計的に厳密な結論を引き出すのを困難にしている。これは古典的な仮定に違反しているためである。 高度適応監査から統計的推論を引き出すことができるかを特徴付けるため、2つの「重複」の観点から仮説テストフレームワークを導入する。 (i)目標しきい値以下の性能を持つフェールモードがないと主張するモデルのnull。 (ii) 障害モードを明らかにするサンプリング戦略があると主張する監査人のnull。 Safe Anytime-Valid Inference (SAVI) を利用することで、監査人は「賭けによるテスト」を行うものとして形式化され、これはデュエルヌル仮説をテストするための同時eプロセスに変換される。 さらに,監査者が十分に強力であれば,これらの2つの仮説が互いに漸近的に逆転していることが証明される。 実験により, 提案手法は, 有意な型Iエラー制御を維持し, 事前特定試験法より優れており, 時として20個の観測結果が得られず, 統計的に厳密な結論に達することが実証された。

関連論文リスト

• CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency [10.34950275095264]
  本研究では,モデル応答分布の特異なモードとして,あらかじめ指定した対象解の任意の正当性検証について検討する。 本稿では,任意の所定のレベルで偽認証を確実に制御するCITEアルゴリズムを用いた区間統一試験による認証を提案する。 また、カテゴリセットなしの停止時間率を証明し、メインレジーム内の定数に一致するミニマックスの下限を確立し、信頼度の高い投票に拡張する。
  論文  参考訳（メタデータ） (2026-05-07T08:41:51Z)
• Sequential Audit Sampling with Statistical Guarantees [6.101839518775968]
  本研究は, 有限個体群を対象とした逐次的な検査問題として, 追加の逐次収集項目を用いた監査サンプリングを定式化した。 偏差率でヌル仮説と代替仮説を定義し、停止規則と決定規則を定め、有限人口誤差確率で正確な逐次境界条件を定式化する。 正確な設計は、決定エラー確率を極端に制御し、シミュレーションベースの実装は、期待される停止時間の計算を可能にしながら、その設計を近似する。
  論文  参考訳（メタデータ） (2026-04-07T17:26:23Z)
• Predicting fixed-sample test decisions enables anytime-valid inference [0.3222802562733787]
  我々は,任意の固定サンプル仮説テストから任意の有意なテストに変換する簡単な手順を導入する。 我々は、null仮説が偽である場合に、かなりのサンプル貯蓄でType-Iエラー制御と準最適パワーを確保する。 臨床試験などの分野では、早期に安全に停止することで、患者が最高の治療を受けられるようにし、効果的な治療法の開発を加速することができる。
  論文  参考訳（メタデータ） (2026-02-14T20:17:51Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Internal Incoherency Scores for Constraint-based Causal Discovery Algorithms [12.524536193679124]
  仮説違反や有限サンプル誤りの検証が可能な内部コヒーレンシスコアを提案する。 シミュレーションおよび実世界のデータセットを用いて,PCアルゴリズムにおけるコヒーレンシースコアについて述べる。
  論文  参考訳（メタデータ） (2025-02-20T16:44:54Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。