論文の概要: Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
- arxiv url: http://arxiv.org/abs/2505.07023v1
- Date: Sun, 11 May 2025 15:35:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.164053
- Title: Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
- Title（参考訳）: アクティブラベリングインターベンションによる不確実性認識性能モニタリング
- Authors: Alexander Koebler, Thomas Decker, Ingo Thon, Volker Tresp, Florian Buettner,
- Abstract要約: Incrmental Uncertainty-aware Performance Monitoring (IUPM) というラベルのない手法を提案する。
IUPMは、性能予測の不確実性を定量化し、限られたラベル付け予算の下で信頼性の高い見積もりを復元するアクティブなラベル付け手順を導入する。
実験の結果、IUPMは様々な段階的なシフトシナリオにおいて、既存の性能推定基準よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 64.12447263206381
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of monitoring machine learning models under gradual distribution shifts, where circumstances change slowly over time, often leading to unnoticed yet significant declines in accuracy. To address this, we propose Incremental Uncertainty-aware Performance Monitoring (IUPM), a novel label-free method that estimates performance changes by modeling gradual shifts using optimal transport. In addition, IUPM quantifies the uncertainty in the performance prediction and introduces an active labeling procedure to restore a reliable estimate under a limited labeling budget. Our experiments show that IUPM outperforms existing performance estimation baselines in various gradual shift scenarios and that its uncertainty awareness guides label acquisition more effectively compared to other strategies.
- Abstract（参考訳）: 段階的な分散シフトの下での機械学習モデル監視の問題について検討し、状況は時間とともにゆっくりと変化し、しばしば未知の精度が著しく低下することを示した。
そこで本研究では,最適なトランスポートを用いた段階的シフトのモデル化により,性能変化を推定する新しいラベルフリー手法であるIncrmental Uncertainty-aware Performance Monitoring (IUPM)を提案する。
さらに、IUPMは、性能予測の不確実性を定量化し、限られたラベル付け予算の下で信頼性のある見積を復元するアクティブなラベル付け手順を導入する。
実験の結果、IUPMは様々な段階的なシフトシナリオにおいて既存の性能推定基準よりも優れており、その不確実性はラベル取得を他の戦略よりも効果的に導くことが示された。
関連論文リスト
- SAUP: Situation Awareness Uncertainty Propagation on LLM Agent [52.444674213316574]
大規模言語モデル(LLM)は多段階エージェントシステムに統合され、様々なアプリケーションにまたがる複雑な意思決定プロセスを可能にする。
既存の不確実性推定手法は主に最終段階の出力に重点を置いており、これは多段階決定プロセスにおける累積的不確実性やエージェントとその環境間の動的相互作用を考慮できない。
LLMエージェントの推論プロセスの各ステップを通じて不確実性を伝播する新しいフレームワークであるSAUPを提案する。
論文 参考訳（メタデータ） (2024-12-02T01:31:13Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。
本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。
提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
論文 参考訳（メタデータ） (2023-12-07T07:15:11Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z) - Characterizing Out-of-Distribution Error via Optimal Transport [15.284665509194134]
ラベルなしでOODデータ上でモデルの性能を予測する方法は、機械学習の安全性にとって重要である。
最適輸送理論を利用してモデル性能を推定する新しい手法を提案する。
提案手法は既存の最先端手法よりも最大3倍低い予測誤差で大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-25T01:37:13Z) - Architectural patterns for handling runtime uncertainty of data-driven
models in safety-critical perception [1.7616042687330642]
不確実性推定に対処するためのアーキテクチャパターンを新たに提案する。
安全性と性能向上に関して,4つのパターンを質的,定量的に評価した。
筆者らは,運転状況の文脈情報を考慮することで,運転状況の固有のリスクに応じて,多かれ少なかれ不確実性を受け入れることができると結論付けた。
論文 参考訳（メタデータ） (2022-06-14T13:31:36Z) - Improving Regression Uncertainty Estimation Under Statistical Change [7.734726150561088]
ベイジアン・バリデーション・メトリック・フレームワークに基づく回帰不確かさ推定のための損失関数を提案し,実装する。
In-distriionデータに関する一連の実験により,提案手法は既存の最先端手法と競合することを示した。
論文 参考訳（メタデータ） (2021-09-16T20:32:58Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。