論文の概要: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2505.02299v1
• Date: Mon, 05 May 2025 00:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.535761
• Title: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection
• Title（参考訳）: ロバストなアウト・オブ・ディストリビューション検出のための人間のフィードバックによる適応的スコーディングと閾値設定
• Authors: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak,
• Abstract要約: 機械学習(ML)モデルは、ID(In-distriion)データに基づいてトレーニングされるが、デプロイ中にOOD(out-of-distriion)入力に遭遇することが多い。 最近の研究は、OODの不確実性を定量化するためのスコアリング関数の設計に重点を置いている。 我々は,実世界のOOD入力に基づいて,フライ時のスコアリング機能としきい値の両方を即時更新するヒューマン・イン・ザ・ループ・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.192472816262214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) models are trained on in-distribution (ID) data but often encounter out-of-distribution (OOD) inputs during deployment -- posing serious risks in safety-critical domains. Recent works have focused on designing scoring functions to quantify OOD uncertainty, with score thresholds typically set based solely on ID data to achieve a target true positive rate (TPR), since OOD data is limited before deployment. However, these TPR-based thresholds leave false positive rates (FPR) uncontrolled, often resulting in high FPRs where OOD points are misclassified as ID. Moreover, fixed scoring functions and thresholds lack the adaptivity needed to handle newly observed, evolving OOD inputs, leading to sub-optimal performance. To address these challenges, we propose a human-in-the-loop framework that \emph{safely updates both scoring functions and thresholds on the fly} based on real-world OOD inputs. Our method maximizes TPR while strictly controlling FPR at all times, even as the system adapts over time. We provide theoretical guarantees for FPR control under stationary conditions and present extensive empirical evaluations on OpenOOD benchmarks to demonstrate that our approach outperforms existing methods by achieving higher TPRs while maintaining FPR control.
• Abstract（参考訳）: 機械学習(ML)モデルは、ID(In-distriion)データに基づいてトレーニングされるが、デプロイ中にOOD(out-of-distriion)入力に遭遇することが多い。 近年の研究では、OODデータが配備前に制限されているため、目標正のレート(TPR)を達成するために、IDデータのみに基づいてスコア閾値を設定することで、OODの不確実性を定量化するスコア関数の設計に重点を置いている。 しかしながら、これらのTPRベースの閾値は偽陽性率(FPR)を制御せず、多くの場合、OODポイントをIDと誤分類する高いFPRが発生する。 さらに、固定スコアリング関数と閾値は、新しく観測され進化するOOD入力を処理するのに必要な適応性を欠くため、準最適性能が得られる。 これらの課題に対処するため,現実世界のOOD入力に基づいて,スコアリング関数としきい値の両方を安全に更新するHuman-in-the-loopフレームワークを提案する。 本手法は,システムが時間とともに適応しても,常に厳格にFPRを制御しながらTPRを最大化する。 定常条件下でのFPR制御の理論的保証とOpenOODベンチマークでの広範な実証評価を行い、FPR制御を維持しながら高いTPRを達成することによって既存の手法よりも優れていることを示す。

関連論文リスト

• Out-of-Distribution Detection with Overlap Index [22.92968284023414]
  アウト・オブ・ディストリビューション(OOD)検出は、オープンな世界における機械学習モデルの展開に不可欠である。 重なり指数(OI)に基づく信頼度スコア関数を用いた新しいOOD検出手法を提案する。 我々は,OIをベースとしたOOD検出器と最先端のOOD検出器が競合することを示す。
  論文  参考訳（メタデータ） (2024-12-09T03:01:47Z)
• Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
  本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。 MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。 画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-09-22T05:40:25Z)
• Taming False Positives in Out-of-Distribution Detection with Human Feedback [6.192472816262214]
  我々は,専門家のフィードバックを生かした数学的基盤を持つOOD検出フレームワークを提案し,そのしきい値の即時更新を行う。 人間のフィードバックを最小化しながら、常にFPRの制約を満たすことが保証されていることを示す理論的結果を提供する。
  論文  参考訳（メタデータ） (2024-04-25T18:06:47Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
  我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。 トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-16T17:16:47Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。