論文の概要: On the Effectiveness of Sparsification for Detecting the Deep Unknowns

• arxiv url: http://arxiv.org/abs/2111.09805v1
• Date: Thu, 18 Nov 2021 17:11:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 14:46:02.989827
• Title: On the Effectiveness of Sparsification for Detecting the Deep Unknowns
• Title（参考訳）: 深部未知物検出におけるスパーシフィケーションの有効性について
• Authors: Yiyou Sun and Yixuan Li
• Abstract要約: DICEと呼ばれるスペーシフィケーションに基づくOOD検出フレームワークを提案する。 ノイズ信号を除去することにより、DICEはOODデータの出力分散を確実に低減し、よりシャープな出力分布とIDデータからの分離性を高める。 DICEは優れた性能を確立し、FPR95を以前のベストメソッドに比べて最大24.69%削減した。
• 参考スコア（独自算出の注目度）: 16.536435101298366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting out-of-distribution (OOD) inputs is a central challenge for safely deploying machine learning models in the real world. Previous methods commonly rely on an OOD score derived from the overparameterized weight space, while largely overlooking the role of sparsification. In this paper, we reveal important insights that reliance on unimportant weights and units can directly attribute to the brittleness of OOD detection. To mitigate the issue, we propose a sparsification-based OOD detection framework termed DICE. Our key idea is to rank weights based on a measure of contribution, and selectively use the most salient weights to derive the output for OOD detection. We provide both empirical and theoretical insights, characterizing and explaining the mechanism by which DICE improves OOD detection. By pruning away noisy signals, DICE provably reduces the output variance for OOD data, resulting in a sharper output distribution and stronger separability from ID data. DICE establishes superior performance, reducing the FPR95 by up to 24.69% compared to the previous best method.
• Abstract（参考訳）: out-of-distribution (ood)インプットの検出は、現実世界に機械学習モデルを安全にデプロイするための中心的な課題である。 従来の方法では、過度にパラメータ化された重量空間から得られるOODスコアに依存していたが、大部分はスパシフィケーションの役割を見落としていた。 本稿では,OOD検出の脆さに直接起因して,重要でない重量や単位に依存しているという重要な知見を明らかにする。 この問題を軽減するため,DICEと呼ばれるスペーシフィケーションに基づくOOD検出フレームワークを提案する。 私たちのキーとなるアイデアは、コントリビューションの尺度に基づいてウェイトをランク付けし、最も健全なウェイトを選択的に使用してOOD検出の出力を導出することです。 我々は、DICEがOOD検出を改善するメカニズムを特徴づけ、説明し、経験的および理論的知見を提供する。 ノイズ信号を除去することにより、DICEはOODデータの出力分散を確実に低減し、よりシャープな出力分布とIDデータからの分離性を高める。 DICEは優れた性能を確立し、FPR95を以前のベストメソッドに比べて最大24.69%削減した。

関連論文リスト

• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Fast Decision Boundary based Out-of-Distribution Detector [7.04686607977352]
  アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの安全なデプロイに不可欠である。 既存の特徴空間法は有効であるが、しばしば計算上のオーバーヘッドを生じさせる。 補助モデルを用いない計算効率の良いOOD検出器を提案する。
  論文  参考訳（メタデータ） (2023-12-15T19:50:32Z)
• Learning to Augment Distributions for Out-of-Distribution Detection [49.12437300327712]
  アウト・オブ・ディストリビューション (OOD) は、ラベルがイン・ディストリビューション (ID) の場合と区別される。 我々は,OODの分布差を軽減するためにDAL(distributal-Augmented OOD Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T09:19:33Z)
• Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
  外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。 我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-09T04:36:38Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection [7.221206118679026]
  ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。 この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。 ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
  論文  参考訳（メタデータ） (2022-07-15T15:02:38Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。