論文の概要: Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts
- arxiv url: http://arxiv.org/abs/2602.02229v1
- Date: Mon, 02 Feb 2026 15:32:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.257735
- Title: Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts
- Title（参考訳）: 有害分布変化検出のための展開モデルの予測型リスクモニタリング
- Authors: Guangyi Zhang, Yunlong Cai, Guanding Yu, Osvaldo Simeone,
- Abstract要約: 予測駆動型リスクモニタリング(PPRM)を提案する。
PPRMは、合成ラベルを真のラベルの小さなセットと組み合わせることで、ランニングリスクの任意の有意な下界を構築する。
本稿では,画像分類,大規模言語モデル(LLM),通信監視タスクの広範な実験を通じて,PPRMの有効性を実証する。
- 参考スコア（独自算出の注目度）: 51.37000123503367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of monitoring model performance in dynamic environments where labeled data are limited. To this end, we propose prediction-powered risk monitoring (PPRM), a semi-supervised risk-monitoring approach based on prediction-powered inference (PPI). PPRM constructs anytime-valid lower bounds on the running risk by combining synthetic labels with a small set of true labels. Harmful shifts are detected via a threshold-based comparison with an upper bound on the nominal risk, satisfying assumption-free finite-sample guarantees in the probability of false alarm. We demonstrate the effectiveness of PPRM through extensive experiments on image classification, large language model (LLM), and telecommunications monitoring tasks.
- Abstract（参考訳）: ラベル付きデータに制限がある動的環境におけるモデル性能のモニタリング問題について検討する。
そこで我々は,予測型リスク監視(PPRM)を提案し,予測型リスク監視(PPI)に基づく半教師付きリスク監視手法を提案する。
PPRMは、合成ラベルを真のラベルの小さなセットと組み合わせることで、ランニングリスクの任意の有意な下界を構築する。
悪質なシフトは、しきい値と名目リスク上の上限とのしきい値に基づく比較によって検出され、偽アラームの確率における仮定のない有限サンプル保証を満たす。
本稿では,画像分類,大規模言語モデル(LLM),通信監視タスクの広範な実験を通じて,PPRMの有効性を実証する。
関連論文リスト
- On Continuous Monitoring of Risk Violations under Unknown Shift [46.65571623109494]
進化するデータストリームにおけるリスク違反のリアルタイムモニタリングのための一般的なフレームワークを提案する。
我々の手法は、遭遇したシフトの性質について最小限の仮定の下で機能する。
本稿では,異常検出におけるリスクの監視と,さまざまなシフト下での予測によるアプローチの有効性について述べる。
論文 参考訳（メタデータ） (2025-06-19T15:52:24Z) - Risk-Averse Certification of Bayesian Neural Networks [70.44969603471903]
本稿では,RAC-BNNと呼ばれるベイズニューラルネットワークに対するリスク・アバース認証フレームワークを提案する。
提案手法はサンプリングと最適化を利用して,BNNの出力集合の音響近似を計算する。
我々は,RAC-BNNを回帰および分類ベンチマークで検証し,その性能を最先端の手法と比較した。
論文 参考訳（メタデータ） (2024-11-29T14:22:51Z) - Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。
提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
論文 参考訳（メタデータ） (2024-03-28T17:28:06Z) - Forking Uncertainties: Reliable Prediction and Model Predictive Control
with Sequence Models via Conformal Risk Control [40.918012779935246]
本稿では,事前設計した確率予測器が生成した予測に基づいて,信頼性の高いエラーバーを生成する,新しいポストホックキャリブレーション手法を提案する。
最先端技術とは異なり、PTS-CRCはカバレッジ以上の信頼性定義を満たすことができる。
PTS-CRC予測と制御の性能を,無線ネットワークの文脈における多くのユースケースの研究により実験的に検証した。
論文 参考訳（メタデータ） (2023-10-16T11:35:41Z) - How to Trust Your Diffusion Model: A Convex Optimization Approach to
Conformal Risk Control [9.811982443156063]
本稿では、画像から画像への回帰タスクに着目し、リスク制御予測セット(RCPS)の手順を一般化する。
提案手法は, 平均間隔長を最大化しつつ, 多次元リスク制御を可能にする新しい凸最適化手法に依存している。
本研究は,腹部の自然像とCTスキャンの2つの実世界の画像記述問題に対するアプローチについて述べる。
論文 参考訳（メタデータ） (2023-02-07T23:01:16Z) - Robust Control for Dynamical Systems With Non-Gaussian Noise via Formal
Abstractions [59.605246463200736]
雑音分布の明示的な表現に依存しない新しい制御器合成法を提案する。
まず、連続制御系を有限状態モデルに抽象化し、離散状態間の確率的遷移によってノイズを捕捉する。
我々は最先端の検証技術を用いてマルコフ決定プロセスの間隔を保証し、これらの保証が元の制御システムに受け継がれるコントローラを演算する。
論文 参考訳（メタデータ） (2023-01-04T10:40:30Z) - Monitoring machine learning (ML)-based risk prediction algorithms in the
presence of confounding medical interventions [4.893345190925178]
医療における機械学習(ML)に基づくリスク予測モデルの性能モニタリングは、整合医療介入(CMI)の問題によって複雑化している。
単純なアプローチは、CMIを無視し、治療を受けていない患者のみを監視することである。
条件付き性能をモニタし、条件付き交換性や時間的選択バイアスが保たれている場合、有効な推論が可能であることを示す。
論文 参考訳（メタデータ） (2022-11-17T18:54:34Z) - Risk-Sensitive Sequential Action Control with Multi-Modal Human
Trajectory Forecasting for Safe Crowd-Robot Interaction [55.569050872780224]
本稿では,リスクに敏感な最適制御に基づく安全な群集ロボットインタラクションのためのオンラインフレームワークを提案し,そのリスクをエントロピーリスク尺度でモデル化する。
私たちのモジュラーアプローチは、クラウドとロボットの相互作用を学習ベースの予測とモデルベースの制御に分離します。
シミュレーション研究と実世界の実験により、このフレームワークは、現場にいる50人以上の人間との衝突を避けながら、安全で効率的なナビゲーションを実現することができることが示された。
論文 参考訳（メタデータ） (2020-09-12T02:02:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。