論文の概要: WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales

• arxiv url: http://arxiv.org/abs/2505.04608v3
• Date: Sun, 01 Jun 2025 20:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.350755
• Title: WATCH: Adaptive Monitoring for AI Deployments via Weighted-Conformal Martingales
• Title（参考訳）: WATCH: 軽量コンフォーマルなMartingalesによるAIデプロイメントの適応監視
• Authors: Drew Prinster, Xing Han, Anqi Liu, Suchi Saria,
• Abstract要約: 非パラメトリックシーケンシャルテストのメソッド -- 特にコンフォーマルテストマーチンチャル(CTM)と任意の時間価推論 -- は、この監視タスクに有望なツールを提供する。 既存のアプローチは、限られた仮説クラスやアラーム基準の監視に限られています。」
• 参考スコア（独自算出の注目度）: 13.807613678989664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Responsibly deploying artificial intelligence (AI) / machine learning (ML) systems in high-stakes settings arguably requires not only proof of system reliability, but also continual, post-deployment monitoring to quickly detect and address any unsafe behavior. Methods for nonparametric sequential testing -- especially conformal test martingales (CTMs) and anytime-valid inference -- offer promising tools for this monitoring task. However, existing approaches are restricted to monitoring limited hypothesis classes or ``alarm criteria'' (e.g., detecting data shifts that violate certain exchangeability or IID assumptions), do not allow for online adaptation in response to shifts, and/or cannot diagnose the cause of degradation or alarm. In this paper, we address these limitations by proposing a weighted generalization of conformal test martingales (WCTMs), which lay a theoretical foundation for online monitoring for any unexpected changepoints in the data distribution while controlling false-alarms. For practical applications, we propose specific WCTM algorithms that adapt online to mild covariate shifts (in the marginal input distribution), quickly detect harmful shifts, and diagnose those harmful shifts as concept shifts (in the conditional label distribution) or extreme (out-of-support) covariate shifts that cannot be easily adapted to. On real-world datasets, we demonstrate improved performance relative to state-of-the-art baselines.
• Abstract（参考訳）: 人工知能(AI)/機械学習(ML)システムを高レベルな環境でデプロイするには、システム信頼性の証明だけでなく、安全でない振る舞いを素早く検出し対処するための継続的デプロイ後の監視も必要である。 非パラメトリックシーケンシャルテストのメソッド -- 特にコンフォーマルテストマーチンチャル(CTM)と任意の時間価推論 -- は、この監視タスクに有望なツールを提供する。 しかし、既存のアプローチは、限られた仮説クラスや‘alarm criteria’(例えば、ある交換可能性やIDの仮定に反するデータシフトを検出する)の監視に限られており、シフトに対するオンライン適応は許されず、あるいは、劣化の原因やアラームの診断ができない。 本稿では,共形試験マーチンゲール(WCTM)の重み付き一般化を提案することにより,これらの制約に対処する。 実践的な応用として,弱い共変量シフト(辺縁入力分布)にオンラインで適応し,有害な変化を迅速に検出し,それらの有害な変化を概念シフト(条件ラベル分布)や極端な(サポート外)共変量シフト(サポート外)として容易に適応できないものとして診断する,特定のWCTMアルゴリズムを提案する。 実世界のデータセットでは、最先端のベースラインと比較して改善されたパフォーマンスを示す。

関連論文リスト

• Context-Aware Online Conformal Anomaly Detection with Prediction-Powered Data Acquisition [35.59201763567714]
  文脈認識型共形オンライン異常検出(C-PP-COAD)を導入する。 本フレームワークは,データ不足を軽減するために合成キャリブレーションデータを戦略的に活用し,コンテキストに基づく実データの統合を適応的に行う。 C-PP-COADは、偽発見率(FDR)を保証せずに、実際のキャリブレーションデータへの依存を著しく低減することを示した。
  論文  参考訳（メタデータ） (2025-05-03T10:58:05Z)
• Automatically Adaptive Conformal Risk Control [49.95190019041905]
  本稿では,テストサンプルの難易度に適応して,統計的リスクの近似的条件制御を実現する手法を提案する。 我々のフレームワークは、ユーザが提供するコンディショニングイベントに基づく従来のコンディショニングリスク制御を超えて、コンディショニングに適した関数クラスのアルゴリズム的、データ駆動決定を行う。
  論文  参考訳（メタデータ） (2024-06-25T08:29:32Z)
• Continuous Test-time Domain Adaptation for Efficient Fault Detection under Evolving Operating Conditions [10.627285023764086]
  本稿では,入力変数をシステムパラメータと測定値に分離したテスト時間領域適応異常検出(TAAD)フレームワークを提案する。 本手法は,実世界のポンプモニタリングデータセットを用いて検証し,既存の領域適応法よりも優れた故障検出手法であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T15:53:14Z)
• Incorporating Gradients to Rules: Towards Lightweight, Adaptive Provenance-based Intrusion Detection [11.14938737864796]
  多様な環境に自動的に適応できるルールベースのPIDSであるCAPTAINを提案する。 我々は、微分可能なタグ伝搬フレームワークを構築し、勾配降下アルゴリズムを用いてこれらの適応パラメータを最適化する。 その結果,CAPTAINは検出精度の向上,検出遅延の低減,ランタイムオーバーヘッドの低減,検出アラームや知識の解釈性の向上を実現している。
  論文  参考訳（メタデータ） (2024-04-23T03:50:57Z)
• Condition Monitoring with Incomplete Data: An Integrated Variational Autoencoder and Distance Metric Framework [2.7898966850590625]
  本稿では,未確認データに対する故障検出と条件モニタリングのための新しい手法を提案する。 我々は変分オートエンコーダを用いて、以前に見られた新しい未知条件の確率分布をキャプチャする。 故障は、健康指標のしきい値を確立することで検出され、そのモデルが重大で見えない断層を高い精度で識別することができる。
  論文  参考訳（メタデータ） (2024-04-08T22:20:23Z)
• Enhancing Security in Federated Learning through Adaptive Consensus-Based Model Update Validation [2.28438857884398]
  本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。 本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。 以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
  論文  参考訳（メタデータ） (2024-03-05T20:54:56Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。