論文の概要: Out-of-Distribution Detection Should Use Conformal Prediction (and Vice-versa?)

• arxiv url: http://arxiv.org/abs/2403.11532v1
• Date: Mon, 18 Mar 2024 07:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:16:57.322798
• Title: Out-of-Distribution Detection Should Use Conformal Prediction (and Vice-versa?)
• Title（参考訳）: コンフォーマル予測(および逆転?)を用いた分布外検出
• Authors: Paul Novello, Joseba Dalmau, Léo Andeol,
• Abstract要約: コンフォーマル予測(CP)は、確率的カバレッジ保証を備えた予測セットを構築するために、非コンフォーマルスコアを使用する。 CP と OOD を併用する利点は,OOD スコアを非整合性スコアとして用いることで,その逆に適用できることが示されている。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on Out-Of-Distribution (OOD) detection focuses mainly on building scores that efficiently distinguish OOD data from In Distribution (ID) data. On the other hand, Conformal Prediction (CP) uses non-conformity scores to construct prediction sets with probabilistic coverage guarantees. In this work, we propose to use CP to better assess the efficiency of OOD scores. Specifically, we emphasize that in standard OOD benchmark settings, evaluation metrics can be overly optimistic due to the finite sample size of the test dataset. Based on the work of (Bates et al., 2022), we define new conformal AUROC and conformal FRP@TPR95 metrics, which are corrections that provide probabilistic conservativeness guarantees on the variability of these metrics. We show the effect of these corrections on two reference OOD and anomaly detection benchmarks, OpenOOD (Yang et al., 2022) and ADBench (Han et al., 2022). We also show that the benefits of using OOD together with CP apply the other way around by using OOD scores as non-conformity scores, which results in improving upon current CP methods. One of the key messages of these contributions is that since OOD is concerned with designing scores and CP with interpreting these scores, the two fields may be inherently intertwined.
• Abstract（参考訳）: アウト・オフ・ディストリビューション(OOD)検出の研究は、OODデータとIn Distribution(ID)データとを効率的に区別するビルディングスコアに重点を置いている。 一方, Conformal Prediction (CP) は非整合性スコアを用いて確率的カバレッジ保証付き予測セットを構築する。 本研究では,OCDスコアの効率性を評価するためにCPを用いた手法を提案する。 具体的には、標準的なOODベンチマーク設定では、テストデータセットのサンプルサイズが有限であるため、評価指標が過度に楽観的であることを強調する。 Bates et al , 2022 の業績に基づいて, これらの指標の変動性に対する確率的保守性を保証する補正である新しい共形 AUROC と共形 FRP@TPR95 のメトリクスを定義する。 これらの補正が2つの基準OODおよび異常検出ベンチマーク、OpenOOD(Yang et al , 2022)とADBench(Han et al , 2022)に与える影響を示す。 また,OODスコアを非整合性スコアとして用いることで,OCDとCPの併用の利点が逆に応用され,現行のCP手法の改善がもたらされることを示す。 これらの貢献の重要なメッセージの1つは、OODはスコアを設計することに関心があり、CPはこれらのスコアを解釈することに関心があるので、2つのフィールドは本質的に相互に絡み合っているかもしれないということである。

関連論文リスト

• Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
  オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。 提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
  論文  参考訳（メタデータ） (2024-11-05T02:29:16Z)
• Rethinking the Evaluation of Out-of-Distribution Detection: A Sorites Paradox [70.57120710151105]
  既存のアウト・オブ・ディストリビューション(OOD)検出ベンチマークは、サンプルを新しいラベルでOODデータとして分類する。 いくつかの限界OODサンプルは、実際には分布内(ID)サンプルに密接なセマンティック内容を持ち、OODサンプルをソリテスパラドックス(英語版)と判定する。 この問題に対処するため,Incremental Shift OOD (IS-OOD) というベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-06-14T09:27:56Z)
• Taming False Positives in Out-of-Distribution Detection with Human Feedback [6.192472816262214]
  我々は,専門家のフィードバックを生かした数学的基盤を持つOOD検出フレームワークを提案し,そのしきい値の即時更新を行う。 人間のフィードバックを最小化しながら、常にFPRの制約を満たすことが保証されていることを示す理論的結果を提供する。
  論文  参考訳（メタデータ） (2024-04-25T18:06:47Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• How Does Fine-Tuning Impact Out-of-Distribution Detection for Vision-Language Models? [29.75562085178755]
  数ショットダウンストリームタスクに対するOOD検出の微調整の影響について検討する。 以上の結果から,OODスコアの適切な選択はCLIPに基づく微調整に不可欠であることが示唆された。 また, 即時学習は, ゼロショットに比較して最先端のOOD検出性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-06-09T17:16:50Z)
• Unsupervised Evaluation of Out-of-distribution Detection: A Data-centric Perspective [55.45202687256175]
  アウト・オブ・ディストリビューション(OOD)検出法は、個々のテストサンプルがイン・ディストリビューション(IND)なのかOODなのかという、試験対象の真実を持っていると仮定する。 本稿では,OOD検出における教師なし評価問題を初めて紹介する。 我々は,OOD検出性能の教師なし指標としてGscoreを計算する3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-02-16T13:34:35Z)
• Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data [77.27338842609153]
  キャラクタリゼーションにより、OODデータの検出と信頼性校正には、それぞれのシフトに対する感度が重要であることが明らかになった。 分布内データのみを用いて両シフトでのOOD検出を改善するために,幾何学的に着想を得た手法を提案する。 我々は,OOD検出とキャリブレーションの両面で,異なるタイプのシフトの下でうまく機能する手法を最初に提案する。
  論文  参考訳（メタデータ） (2021-10-28T15:42:55Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。