論文の概要: NODI: Out-Of-Distribution Detection with Noise from Diffusion
- arxiv url: http://arxiv.org/abs/2401.08689v2
- Date: Thu, 18 Jan 2024 06:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:09:45.820551
- Title: NODI: Out-Of-Distribution Detection with Noise from Diffusion
- Title（参考訳）: NODI:拡散音による外部分布検出
- Authors: Jingqiu Zhou, Aojun Zhou, Hongsheng Li
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、マシンラーニングモデルを安全にデプロイする上で重要な部分である。
従来の方法では、分布内データセットの限られた使用量でOODスコアを計算していた。
MAEベースのイメージエンコーダでパフォーマンスが3.5%向上した。
- 参考スコア（独自算出の注目度）: 45.68745522344308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution (OOD) detection is a crucial part of deploying machine
learning models safely. It has been extensively studied with a plethora of
methods developed in the literature. This problem is tackled with an OOD score
computation, however, previous methods compute the OOD scores with limited
usage of the in-distribution dataset. For instance, the OOD scores are computed
with information from a small portion of the in-distribution data. Furthermore,
these methods encode images with a neural image encoder. The robustness of
these methods is rarely checked with respect to image encoders of different
training methods and architectures. In this work, we introduce the diffusion
process into the OOD task. The diffusion model integrates information on the
whole training set into the predicted noise vectors. What's more, we deduce a
closed-form solution for the noise vector (stable point). Then the noise vector
is converted into our OOD score, we test both the deep model predicted noise
vector and the closed-form noise vector on the OOD benchmarks \cite{openood}.
Our method outperforms previous OOD methods across all types of image encoders
(Table. \ref{main}). A $3.5\%$ performance gain is achieved with the MAE-based
image encoder. Moreover, we studied the robustness of OOD methods by applying
different types of image encoders. Some OOD methods failed to generalize well
when switching image encoders from ResNet to Vision Transformers, our method
performs exhibits good robustness with all the image encoders.
- Abstract（参考訳）: out-of-distribution (ood)検出は、機械学習モデルを安全にデプロイする上で重要な部分である。
文学で開発された多くの手法で広く研究されている。
この問題はOODスコア計算に対処するが、従来の方法ではOODスコアを分布内データセットの限られた使用量で計算する。
例えば、OODスコアは、分配データのごく一部からの情報で計算される。
さらに、これらの方法はニューラルイメージエンコーダで画像を符号化する。
これらの手法のロバスト性は、異なる訓練方法とアーキテクチャのイメージエンコーダに対してほとんど確認されない。
本稿では,OODタスクに拡散過程を導入する。
拡散モデルは、トレーニングセット全体の情報を予測されたノイズベクトルに統合する。
さらに、ノイズベクトル(安定点)の閉形式解を推定する。
次に、ノイズベクトルをOODスコアに変換し、OODベンチマークの深いモデル予測ノイズベクトルと閉形式ノイズベクトルの両方をテストする。
提案手法は, 従来のood法を, 画像エンコーダのすべてのタイプで上回っている。
\ref{main})。
MAEベースのイメージエンコーダで3.5$%のパフォーマンス向上が達成される。
さらに,異なる種類の画像エンコーダを適用し,OOD法の堅牢性を検討した。
画像エンコーダをResNetからVision Transformerに切り替える際には,OOD手法の一般化に失敗し,画像エンコーダ全体の堅牢性を示した。
関連論文リスト
- Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection [2.9049649065453336]
OOD検出方法は、信頼層(OOD検出のためにモデルの出力層を使用する)または機能層(出力層を使用しない)に分類することができる。
OODアーティファクトは、トレーニングデータと他の要因との相関関係から、モデルの予測におけるソフトマックスの信頼性を高めることができることを示す。
また、特徴に基づく手法は、通常、正しい予測と誤った予測につながる入力を区別する上で、より悪い性能を示すことを示す。
論文 参考訳（メタデータ） (2024-08-30T15:02:22Z) - A noisy elephant in the room: Is your out-of-distribution detector robust to label noise? [49.88894124047644]
我々は、最先端のOOD検出方法20について詳しく検討する。
不正に分類されたIDサンプルとOODサンプルの分離が不十分であることを示す。
論文 参考訳（メタデータ） (2024-04-02T09:40:22Z) - Improving Adversarial Robustness of Masked Autoencoders via Test-time
Frequency-domain Prompting [133.55037976429088]
BERTプリトレーニング(BEiT, MAE)を備えた視覚変換器の対向ロバスト性について検討する。
意外な観察は、MAEが他のBERT事前訓練法よりも敵の頑健さが著しく悪いことである。
我々は,MAEの対角的堅牢性を高めるための,シンプルで効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-08-20T16:27:17Z) - Building One-class Detector for Anything: Open-vocabulary Zero-shot OOD
Detection Using Text-image Models [23.302018871162186]
ゼロショット方式でテキスト画像事前学習モデルを利用する新しい1クラスオープンセットOOD検出器を提案する。
提案手法は,ドメイン内でないものを検出し,多様なOODを検出する柔軟性を提供する。
本手法は,すべてのベンチマークにおいて,従来の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-26T18:58:56Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Denoising Masked AutoEncoders are Certifiable Robust Vision Learners [37.04863068273281]
DMAE(Denoising Masked AutoEncoders)と呼ばれる自己教師型手法を提案する。
DMAEは各ピクセル値にガウスノイズを加え、複数のパッチをランダムにマスキングすることで、各イメージを劣化させる。
その後、Transformerベースのエンコーダデコーダモデルをトレーニングして、オリジナルのイメージを破損したイメージから再構築する。
論文 参考訳（メタデータ） (2022-10-10T12:37:59Z) - A Simple Test-Time Method for Out-of-Distribution Detection [45.11199798139358]
本稿では,OOD検出のための簡易なテスト時間線形訓練法を提案する。
分布外である入力画像の確率は、ニューラルネットワークが抽出した特徴と驚くほど線形に相関していることがわかった。
本稿では,提案手法のオンライン版を提案し,実世界のアプリケーションでより実用的な性能を実現する。
論文 参考訳（メタデータ） (2022-07-17T16:02:58Z) - Transformer-based out-of-distribution detection for clinically safe
segmentation [1.649654992058168]
臨床環境では、デプロイされた画像処理システムが確実に間違った予測をしないことが不可欠である。
本研究では,画像分割に着目し,ネットワークの不確実性に対するいくつかのアプローチを評価する。
本稿では,VQ-GANを用いたフル3次元OOD検出を行い,圧縮された画像の潜時表現と変換器を用いてデータ確率を推定する手法を提案する。
論文 参考訳（メタデータ） (2022-05-21T17:55:09Z) - Diffusion-Based Representation Learning [65.55681678004038]
教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。
対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。
同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
論文 参考訳（メタデータ） (2021-05-29T09:26:02Z) - RAIN: A Simple Approach for Robust and Accurate Image Classification
Networks [156.09526491791772]
既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。
本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。
RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。
STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
論文 参考訳（メタデータ） (2020-04-24T02:03:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。