論文の概要: Lifetime-valid decisions by continually evolving AI analysts

• arxiv url: http://arxiv.org/abs/2610.30562v1
• Date: Thu, 22 Oct 2026 00:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.179119
• Title: Lifetime-valid decisions by continually evolving AI analysts
• Title（参考訳）: 進化を続けるAIアナリストによる人生価値決定
• Abstract要約: デプロイ前に提案したAIアナリストのバージョンを評価する。 アップデートの選択方法や提案数に関わらず、Type Iエラー率が許容レベルを超えるバージョンをデプロイする寿命確率は制限されていることを証明しています。
• 参考スコア（独自算出の注目度）: 5.061967156966296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents increasingly act as analysts whose decision can often be cast as hypothesis tests. Classical tests control the Type I error rate, the probability of rejecting a true null hypothesis, for fixed procedures. However, AI analysts introduce internal randomness and can evolve continuously over time. As AI analysts evolve, the risk of approving versions with Type I error rates above the target can accumulate, and adaptive use of evaluation feedback can lead to overfitting. We introduce continual validation, which evaluates each proposed AI analyst version before deployment using simulated data under the null hypothesis, with scenarios that can be randomized and expanded over time. We prove that, regardless of how updates are chosen or how many are proposed, the lifetime probability of ever deploying a version whose Type I error rate exceeds the allowed level remains bounded. This guarantees that every subsequent decision controls the Type I error rate at the target level across these scenarios. At the same time, updates with sufficiently low Type I error rates pass validation with high probability, allowing the analyst to continuously improve its performance without sacrificing rigor. In two examples involving evolving AI analysts for bioequivalence studies and product A/B tests, Type I error rates reached 0.098 and 0.183 without continual validation, compared with at most 0.045 and 0.044 with it, while retaining 82% and 96% of the power from optimally selected valid updates.
• Abstract（参考訳）: AIエージェントはますますアナリストとしての役割を担い、その決定はしばしば仮説テストとして扱われる。 古典的なテストは、固定手順に対して真のnull仮説を拒否する確率であるタイプIエラー率を制御する。 しかし、AIアナリストは内部ランダム性を導入し、時間とともに継続的に進化することができる。 AIアナリストが進化するにつれて、ターゲット以上のタイプIエラー率でバージョンを承認するリスクが蓄積され、評価フィードバックの適応的使用が過度に適合する可能性がある。 我々は、Null仮説の下でシミュレーションデータを使用して、デプロイ前に提案されたAIアナリストのバージョンを評価する連続検証を導入し、時間とともにランダム化や拡張が可能なシナリオを提示する。 アップデートの選択方法や提案数に関わらず、Type Iエラー率が許容レベルを超えるバージョンをデプロイする寿命確率は制限されていることを証明しています。 これにより、その後のすべての決定が、これらのシナリオをまたいだターゲットレベルでタイプIエラー率を制御することが保証される。 同時に、十分に低いタイプIエラー率の更新は、高い確率でバリデーションをパスし、アナリストは厳格さを犠牲にすることなく、継続的にパフォーマンスを改善することができる。 バイオ等価性研究と製品A/BテストのためのAIアナリストの進化を含む2つの例では、タイプIエラー率は、継続バリデーションなしで0.098と0.183に達し、最大0.045と0.044は、最適に選択された有効なアップデートから電力の82%と96%を保持した。

関連論文リスト

• Adaptive auditing of AI systems with anytime-valid guarantees [8.752768302067638]
  2つの'重複'の観点から仮説テストフレームワークを導入します。 我々は,オーディタを「賭けによる検証」の実行として形式化し,これは重複するヌル仮説をテストするための同時eプロセスに変換する。 提案手法は, 任意の値の型I誤差制御を維持し, 事前特定試験法より優れており, 統計的に厳密な結論に到達でき, 時には20の観測しか得られない。
  論文  参考訳（メタデータ） (2026-05-07T22:33:48Z)
• Conformal Selective Prediction with General Risk Control [8.936337121607677]
  我々は、トレーニングされたモデルと、ユーザ定義、バウンダリ、継続的な評価のリスクに対して、そのような決定を導出するための新しいフレームワークを提案する。 SCoREは、システムがモデルを信頼することを選択したケースのリスクに関する2つの保証を提供する。 提案手法をシミュレーションにより評価し, 薬物発見, 健康リスク予測, 大規模言語モデルにおける誤り管理への応用を通じて, 有効性を示す。
  論文  参考訳（メタデータ） (2026-03-25T18:29:23Z)
• Predicting fixed-sample test decisions enables anytime-valid inference [0.3222802562733787]
  我々は,任意の固定サンプル仮説テストから任意の有意なテストに変換する簡単な手順を導入する。 我々は、null仮説が偽である場合に、かなりのサンプル貯蓄でType-Iエラー制御と準最適パワーを確保する。 臨床試験などの分野では、早期に安全に停止することで、患者が最高の治療を受けられるようにし、効果的な治療法の開発を加速することができる。
  論文  参考訳（メタデータ） (2026-02-14T20:17:51Z)
• Is Uncertainty Quantification a Viable Alternative to Learned Deferral? [0.5156484100374058]
  AI安全性の1つの側面は、決定を人間の専門家に委譲するモデルの能力である。 臨床翻訳の間、モデルはしばしばデータシフトのような課題に直面します。 不確かさの定量化方法は、AI推論にとって有望な選択かもしれない。
  論文  参考訳（メタデータ） (2025-08-04T11:37:59Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。