論文の概要: Label-Efficient Monitoring of Classification Models via Stratified Importance Sampling

• arxiv url: http://arxiv.org/abs/2601.22326v1
• Date: Thu, 29 Jan 2026 21:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.070032
• Title: Label-Efficient Monitoring of Classification Models via Stratified Importance Sampling
• Title（参考訳）: 階層的重要度サンプリングによる分類モデルのラベル有効モニタリング
• Authors: Lupo Marsigli, Angel Lopez de Haro,
• Abstract要約: Stratified Importance Smpling (SIS)は、デプロイ後のモデル監視のための原則で、ラベル効率が高く、運用的に軽量な方法論である。 SISは、重要サンプリング(IS)と成層ランダムサンプリング(SRS)に比較して、厳密な有限サンプル平均二乗誤差(MSE)の改善を伴うバイアスのない推定器を得る バイナリタスクとマルチクラスタスクによる実験は、固定ラベル予算の下で一貫した効率改善を示す。
• 参考スコア（独自算出の注目度）: 0.3222802562733787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monitoring the performance of classification models in production is critical yet challenging due to strict labeling budgets, one-shot batch acquisition of labels and extremely low error rates. We propose a general framework based on Stratified Importance Sampling (SIS) that directly addresses these constraints in model monitoring. While SIS has previously been applied in specialized domains, our theoretical analysis establishes its broad applicability to the monitoring of classification models. Under mild conditions, SIS yields unbiased estimators with strict finite-sample mean squared error (MSE) improvements over both importance sampling (IS) and stratified random sampling (SRS). The framework does not rely on optimally defined proposal distributions or strata: even with noisy proxies and sub-optimal stratification, SIS can improve estimator efficiency compared to IS or SRS individually, though extreme proposal mismatch may limit these gains. Experiments across binary and multiclass tasks demonstrate consistent efficiency improvements under fixed label budgets, underscoring SIS as a principled, label-efficient, and operationally lightweight methodology for post-deployment model monitoring.
• Abstract（参考訳）: 厳格なラベル付け予算、ラベルのワンショットバッチ取得、エラー率の極めて低いため、本番環境での分類モデルのパフォーマンスの監視は極めて困難である。 本稿では,これらの制約をモデル監視において直接処理するStratified Importance Smpling(SIS)に基づく一般的なフレームワークを提案する。 SISは従来,特殊な領域に応用されてきたが,我々の理論解析は分類モデルのモニタリングに広く適用可能であることを証明している。 軽度条件下では、SISは、重要サンプリング (IS) と成層ランダムサンプリング (SRS) の両方よりも厳密な有限サンプル平均二乗誤差 (MSE) の非バイアス推定器が得られる。 このフレームワークは最適に定義された提案分布や成層に依存しない:ノイズの多いプロキシや準最適成層でも、SISはISやSRSと比較して推定効率を向上させることができるが、極端な提案ミスマッチはこれらの利得を制限する可能性がある。 バイナリタスクとマルチクラスタスクにわたる実験は、固定ラベル予算の下で一貫した効率改善を示し、SISをデプロイ後のモデル監視のための原則付き、ラベル効率、運用上軽量な方法論として評価している。

関連論文リスト

• A Unified and Stable Risk Minimization Framework for Weakly Supervised Learning with Theoretical Guarantees [33.15955234458642]
  完全かつ正確なラベルが取得にコストがかかる、あるいは不可能な場合には、完全に教師付き学習の代替として弱教師付き学習が実用化されている。 弱教師付きデータの構造に根ざした安定な代理リスクを定式化することにより、そのようなポストホック調整を回避できる、原則化された統一されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T00:57:04Z)
• Labels Matter More Than Models: Quantifying the Benefit of Supervised Time Series Anomaly Detection [56.302586730134806]
  時系列異常検出(TSAD)は、しばしばラベル不足によって制約される重要なデータマイニングタスクである。 現在の研究は、主に教師なし時系列異常検出に焦点を当てている。 本稿では,アーキテクチャの複雑さがTSADの最適経路である,という前提に挑戦する。
  論文  参考訳（メタデータ） (2025-11-20T08:32:49Z)
• Additive Distributionally Robust Ranking and Selection [0.8283940114367679]
  そこで本研究では,$k + m - 1$の事前仮説クリティカルシナリオのみをサンプリングすることを目的とした,単純な加算割当(AA)手順を提案する。 AAが一貫したものであり、驚くべきことに、最も強い意味で付加性を達成することを証明します。 結果は、DRR&Sの加法構造に対する新しい、そして反直観的な洞察を与える。
  論文  参考訳（メタデータ） (2025-09-07T17:36:29Z)
• ConformalSAM: Unlocking the Potential of Foundational Segmentation Models in Semi-Supervised Semantic Segmentation with Conformal Prediction [57.930531826380836]
  本研究は,未ラベル画像のアノテータとして画素レベルの視覚課題におけるラベル不足に,基礎的セグメンテーションモデルが対処できるかどうかを考察する。 ConformalSAMは,まず対象ドメインのラベル付きデータを用いて基礎モデルを校正し,ラベルなしデータの信頼できないピクセルラベルをフィルタリングする新しいSSSSフレームワークである。
  論文  参考訳（メタデータ） (2025-07-21T17:02:57Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Statistical Properties of Robust Satisficing [5.0139295307605325]
  Robust Satisficing(RS)モデルは、堅牢な最適化に対する新たなアプローチである。 本稿では,RSモデルの理論的特性を包括的に解析する。 実験の結果,RSモデルは小サンプル体制における基礎的経験的リスクを常に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T19:57:28Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Rethinking Sampling Strategies for Unsupervised Person Re-identification [59.47536050785886]
  我々は,同じフレームワーク下での各種サンプリング戦略と損失関数のパフォーマンス差の理由を解析した。 グループサンプリングを提案し、同じクラスのサンプルをグループに集める。 Market-1501、DukeMTMC-reID、MSMT17の実験は、グループサンプリングが最先端の手法に匹敵する性能を達成することを示した。
  論文  参考訳（メタデータ） (2021-07-07T05:39:58Z)
• WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
  弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。 エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。 提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-05-21T11:58:50Z)
• Needle in a Haystack: Label-Efficient Evaluation under Extreme Class Imbalance [20.491690754953943]
  本稿では,適応的重要度サンプリングに基づくオンライン評価フレームワークを開発する。 実験では、固定ラベル予算において最先端のMSEよりも平均的なMSEが優れていることを示した。
  論文  参考訳（メタデータ） (2020-06-12T06:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。