論文の概要: A Critical Evaluation of Open-World Machine Learning
- arxiv url: http://arxiv.org/abs/2007.04391v1
- Date: Wed, 8 Jul 2020 19:40:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 13:51:56.305083
- Title: A Critical Evaluation of Open-World Machine Learning
- Title（参考訳）: オープンワールド機械学習の批判的評価
- Authors: Liwei Song, Vikash Sehwag, Arjun Nitin Bhagoji, Prateek Mittal
- Abstract要約: オープンワールド機械学習(ML)は、分布内データに基づいてトレーニングされたクローズドワールドモデルと分布外検出(OOD)を結合する。
我々は,OOD検出性能に,分布内データ,モデルアーキテクチャ,OODデータの選択が強い影響を与えることを示す。
OOD入力が22の意図しない汚職や敵対的摂動によって、オープンワールドのMLシステムは、100%の偽陽性率で利用できないことを示す。
- 参考スコア（独自算出の注目度）: 46.88273149649151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-world machine learning (ML) combines closed-world models trained on
in-distribution data with out-of-distribution (OOD) detectors, which aim to
detect and reject OOD inputs. Previous works on open-world ML systems usually
fail to test their reliability under diverse, and possibly adversarial
conditions. Therefore, in this paper, we seek to understand how resilient are
state-of-the-art open-world ML systems to changes in system components? With
our evaluation across 6 OOD detectors, we find that the choice of
in-distribution data, model architecture and OOD data have a strong impact on
OOD detection performance, inducing false positive rates in excess of $70\%$.
We further show that OOD inputs with 22 unintentional corruptions or
adversarial perturbations render open-world ML systems unusable with false
positive rates of up to $100\%$. To increase the resilience of open-world ML,
we combine robust classifiers with OOD detection techniques and uncover a new
trade-off between OOD detection and robustness.
- Abstract（参考訳）: オープンワールド機械学習(ML)は、オフ・オブ・ディストリビューション(OOD)検出器とイン・ディストリビューションデータに基づいてトレーニングされたクローズドワールドモデルを組み合わせる。
オープンワールドMLシステムに関するこれまでの研究は、多様でおそらくは敵対的な条件下での信頼性のテストに失敗する。
そこで本稿では,システムコンポーネントの変更に対して,最先端のオープンワールドMLシステムがいかにレジリエンスであるかを理解する。
6つのOOD検出器で評価した結果,OOD検出性能には分布内データ,モデルアーキテクチャ,OODデータの選択が強く影響し,70 %以上の偽陽性率を誘導することがわかった。
さらに、22の意図しない汚職や敵対的な摂動を伴うOOD入力が、オープンワールドMLシステムに最大100\%の偽陽性率で使用できないことを示す。
オープンワールドMLのレジリエンスを高めるため、ロバスト分類器とOOD検出技術を組み合わせて、OOD検出とロバストネスの新たなトレードオフを明らかにする。
関連論文リスト
- Learning to Augment Distributions for Out-of-Distribution Detection [49.12437300327712]
アウト・オブ・ディストリビューション (OOD) は、ラベルがイン・ディストリビューション (ID) の場合と区別される。
我々は,OODの分布差を軽減するためにDAL(distributal-Augmented OOD Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-03T09:19:33Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Igeood: An Information Geometry Approach to Out-of-Distribution
Detection [35.04325145919005]
Igeoodは, オフ・オブ・ディストリビューション(OOD)サンプルを効果的に検出する手法である。
Igeoodは任意のトレーニング済みニューラルネットワークに適用され、機械学習モデルにさまざまなアクセス権を持つ。
Igeoodは、さまざまなネットワークアーキテクチャやデータセットにおいて、競合する最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-15T11:26:35Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳（メタデータ） (2021-06-08T11:40:49Z) - MOOD: Multi-level Out-of-distribution Detection [13.207044902083057]
異常な入力がデプロイ中にモデルが失敗するのを防ぐには、分散アウト・ディストリビューション(OOD)検出が不可欠です。
動的かつ効率的なOOD推論のための中間分類器出力を利用する,新しいフレームワークであるマルチレベルアウトオブディストリビューション検出MOODを提案する。
MOODは、競合するOOD検出性能を維持しながら、推論における最大71.05%の計算削減を実現します。
論文 参考訳（メタデータ） (2021-04-30T02:18:31Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-06-26T20:58:05Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。