Fugu-MT 論文翻訳(概要): Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods

論文の概要: Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods

arxiv url: http://arxiv.org/abs/2407.07135v1
Date: Tue, 9 Jul 2024 15:46:39 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 20:39:53.107640
Title: Improving Out-of-Distribution Detection by Combining Existing Post-hoc Methods
Title（参考訳）: 既存ポストホック法を併用したアウトオブディストリビューション検出の改善
Authors: Paul Novello, Yannick Prudent, Joseba Dalmau, Corentin Friedrich, Yann Pequignot,
Abstract要約: ポストホックディープ・オブ・ディストリビューション(OOD)検出は急速に拡大した。現在のベストプラクティスは、手元にあるデータセット上のすべてのメソッドをテストすることです。本稿では,OOD検出を効果的に組み合わせるための新しい手法の開発に焦点を移す。
参考スコア（独自算出の注目度）: 1.747623282473278
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Since the seminal paper of Hendrycks et al. arXiv:1610.02136, Post-hoc deep Out-of-Distribution (OOD) detection has expanded rapidly. As a result, practitioners working on safety-critical applications and seeking to improve the robustness of a neural network now have a plethora of methods to choose from. However, no method outperforms every other on every dataset arXiv:2210.07242, so the current best practice is to test all the methods on the datasets at hand. This paper shifts focus from developing new methods to effectively combining existing ones to enhance OOD detection. We propose and compare four different strategies for integrating multiple detection scores into a unified OOD detector, based on techniques such as majority vote, empirical and copulas-based Cumulative Distribution Function modeling, and multivariate quantiles based on optimal transport. We extend common OOD evaluation metrics -- like AUROC and FPR at fixed TPR rates -- to these multi-dimensional OOD detectors, allowing us to evaluate them and compare them with individual methods on extensive benchmarks. Furthermore, we propose a series of guidelines to choose what OOD detectors to combine in more realistic settings, i.e. in the absence of known OOD data, relying on principles drawn from Outlier Exposure arXiv:1812.04606. The code is available at https://github.com/paulnovello/multi-ood.
Abstract（参考訳）: Hendrycks et al arXiv:1610.02136のセミナー論文以来、ポストホックディープ・オブ・ディストリビューション(OOD)の検出は急速に拡大している。その結果、安全クリティカルなアプリケーションに取り組んでいる実践者や、ニューラルネットワークの堅牢性の向上を目指す実践者の中には、選択すべき方法が多々ある。しかしながら、すべてのデータセットにおいて、どのメソッドも、arXiv:2210.07242で他のどのメソッドよりも優れているわけではないため、現在のベストプラクティスは、データセット上のすべてのメソッドをテストすることである。本稿では,OOD検出を効果的に組み合わせるための新しい手法の開発に焦点を移す。我々は,複数検出スコアを統一OOD検出器に統合するための4つの戦略を,多数決,経験的およびコプラによる累積分布関数モデリング,最適輸送に基づく多変量化などに基づいて提案し,比較する。我々は、AUROCやFPRのような一般的なOOD評価指標を、これらの多次元OOD検出器に拡張することで、それらを評価し、広範囲なベンチマークで個別の手法と比較することができる。さらに,OOD検出装置がより現実的な環境、すなわち既知のOODデータがない場合に,Outlier Exposure arXiv:1812.04606から引き出された原理に依存するものを選択するための一連のガイドラインを提案する。コードはhttps://github.com/paulnovello/multi-ood.comで公開されている。

関連論文リスト

FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
論文参考訳（メタデータ） (2024-07-03T20:33:56Z)
MultiOOD: Scaling Out-of-Distribution Detection for Multiple Modalities [11.884004583641325]
我々は,多種多様なデータセットサイズと様々なモダリティの組み合わせを特徴とする,第一種ベンチマークであるMultiOODを紹介する。我々はまず,既存のOOD検出アルゴリズムをMultiOOD上で評価した。本稿では,近隣クラスからの情報を活用することで,より広い特徴空間を探索する新しいアウトリー合成手法NP-Mixを提案する。
論文参考訳（メタデータ） (2024-05-27T17:59:02Z)
Toward a Realistic Benchmark for Out-of-Distribution Detection [3.8038269045375515]
我々は ImageNet と Places365 に基づく OOD 検出のための総合ベンチマークを導入する。様々な特性を持つベンチマークを生成するために、どのクラスを配布中と考えるべきかを決定するために、いくつかのテクニックが使える。
論文参考訳（メタデータ） (2024-04-16T11:29:43Z)
Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文参考訳（メタデータ） (2023-11-28T02:00:47Z)
General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-07-24T18:50:49Z)
Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文参考訳（メタデータ） (2023-06-26T12:51:32Z)
BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection [0.43891501568660135]
本稿では,バイエンコーダを用いた検出器を用いた新しい手法を提案する。 NLPにおける様々なアウト・オブ・ディストリビューション(OOD)検出法を比較した総合的研究を行った。提案されたバイエンコーダベースの検出器は、トレーニングでOODラベルを必要とするものと、そうでないものの両方において、他の方法よりも優れている。トレーニングプロセスの単純さと優れた検出性能により、現実のシナリオに適用できる。
論文参考訳（メタデータ） (2023-06-15T04:41:28Z)
Background Matters: Enhancing Out-of-distribution Detection with Domain Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文参考訳（メタデータ） (2023-03-15T16:12:14Z)
OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文参考訳（メタデータ） (2022-10-13T17:59:57Z)
Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文参考訳（メタデータ） (2022-06-20T16:32:49Z)
No True State-of-the-Art? OOD Detection Methods are Inconsistent across Datasets [69.725266027309]
アウト・オブ・ディストリビューション検出は、信頼できるMLシステムの重要なコンポーネントである。本研究では,これらの手法が16対の標準セット上でのOOD検出よりも本質的に優れていることを示す。また、ある(ID, OOD)ペアにおいて他の(ID, OOD)ペアよりも優れる手法は、低データ方式ではそうしない可能性があることを示す。
論文参考訳（メタデータ） (2021-09-12T16:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。