論文の概要: Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection
- arxiv url: http://arxiv.org/abs/2211.11255v2
- Date: Sun, 4 Jun 2023 02:06:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 04:06:01.855616
- Title: Diffusion Denoising Process for Perceptron Bias in Out-of-distribution
Detection
- Title(参考訳): 分布外検出におけるパーセプトロンバイアスの拡散分解過程
- Authors: Luping Liu and Yi Ren and Xize Cheng and Rongjie Huang and Chongxuan
Li and Zhou Zhao
- Abstract要約: 我々は、識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入し、過度な問題を引き起こした。
DMの拡散分解過程 (DDP) が非対称の新たな形態として機能し, 入力を高め, 過信問題を緩和するのに適していることを示す。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
- 参考スコア(独自算出の注目度): 67.49587673594276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection is a crucial task for ensuring the
reliability and safety of deep learning. Currently, discriminator models
outperform other methods in this regard. However, the feature extraction
process used by discriminator models suffers from the loss of critical
information, leaving room for bad cases and malicious attacks. In this paper,
we introduce a new perceptron bias assumption that suggests discriminator
models are more sensitive to certain features of the input, leading to the
overconfidence problem. To address this issue, we propose a novel framework
that combines discriminator and generation models and integrates diffusion
models (DMs) into OOD detection. We demonstrate that the diffusion denoising
process (DDP) of DMs serves as a novel form of asymmetric interpolation, which
is well-suited to enhance the input and mitigate the overconfidence problem.
The discriminator model features of OOD data exhibit sharp changes under DDP,
and we utilize the norm of this change as the indicator score. Our experiments
on CIFAR10, CIFAR100, and ImageNet show that our method outperforms SOTA
approaches. Notably, for the challenging InD ImageNet and OOD species datasets,
our method achieves an AUROC of 85.7, surpassing the previous SOTA method's
score of 77.4. Our implementation is available at
\url{https://github.com/luping-liu/DiffOOD}.
- Abstract(参考訳): アウト・オブ・ディストリビューション(OOD)検出は、ディープラーニングの信頼性と安全性を確保するための重要なタスクである。
現在、判別器モデルは、この点で他の方法よりも優れている。
しかし、識別器モデルで使用される特徴抽出プロセスは、重大な情報の喪失に悩まされ、悪いケースや悪意のある攻撃の余地が残る。
本稿では,識別器モデルが入力の特定の特徴に対してより敏感であることを示唆する新しいパーセプトロンバイアスの仮定を導入する。
本稿では,識別器と生成モデルを組み合わせた新しいフレームワークを提案し,拡散モデル(DM)をOOD検出に統合する。
DMの拡散分解過程 (DDP) が非対称補間の新しい形態として機能し, 入力の強化と過信問題を緩和するのに適していることを示す。
OODデータの識別器モデルの特徴はDDPの下で急激な変化を示し,この変化の規範を指標スコアとして活用する。
CIFAR10, CIFAR100, ImageNetによる実験により, 提案手法がSOTA手法より優れていることが示された。
特に,難易度の高いInD ImageNet と OOD 種のデータセットでは,従来の SOTA 手法のスコア 77.4 を上回り,AUROC 85.7 を達成している。
我々の実装は \url{https://github.com/luping-liu/DiffOOD} で利用可能です。
関連論文リスト
- Mitigating Exposure Bias in Discriminator Guided Diffusion Models [4.5349436061325425]
本稿では,識別器誘導とエプシロンスケーリングを組み合わせたSEDM-G++を提案する。
提案手法は,非条件CIFAR-10データセット上でFIDスコア1.73を達成し,現状よりも優れている。
論文 参考訳(メタデータ) (2023-11-18T20:49:50Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in
Imaging Inverse Problems [78.76955228709241]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定データに特化してデノイングネットワークを適用する。
我々は多様な画像モダリティをまたいだOOD性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - Conservative Prediction via Data-Driven Confidence Minimization [66.35245313125934]
機械学習モデルのエラーは、特に医療のような安全クリティカルな領域では、コストがかかる。
本稿では、不確実性データセットに対する信頼性を最小化するデータ駆動型信頼性最小化(DCM)を提案する。
実験の結果、DCMは8つのID-OODデータセットペアに対して、最先端のOOD検出方法よりも一貫して優れていることがわかった。
論文 参考訳(メタデータ) (2023-06-08T07:05:36Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳(メタデータ) (2023-03-24T13:49:05Z) - Augmenting Softmax Information for Selective Classification with
Out-of-Distribution Data [7.221206118679026]
既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。
本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。
多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
論文 参考訳(メタデータ) (2022-07-15T14:39:57Z) - RODD: A Self-Supervised Approach for Robust Out-of-Distribution
Detection [12.341250124228859]
本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。
提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。
自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-06T03:05:58Z) - Detecting Out-of-distribution Samples via Variational Auto-encoder with
Reliable Uncertainty Estimation [5.430048915427229]
変分オートエンコーダ(VAE)は、豊かな表現能力を持つ影響のある生成モデルである。
VAEモデルは、アウト・オブ・ディストリビューション(OOD)インプットに対して、イン・ディストリビューション(ID)インプットよりも高い確率を割り当てる弱点がある。
本研究では,INCPVAEと呼ばれるVAEのエンコーダに統合可能な改良型ノイズコントラッシブ先行(INCP)を提案する。
論文 参考訳(メタデータ) (2020-07-16T06:02:18Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳(メタデータ) (2020-06-11T17:39:07Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。