論文の概要: From Global to Local: Multi-scale Out-of-distribution Detection
- arxiv url: http://arxiv.org/abs/2308.10239v1
- Date: Sun, 20 Aug 2023 11:56:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 16:51:18.669044
- Title: From Global to Local: Multi-scale Out-of-distribution Detection
- Title(参考訳): グローバルからローカルへ:マルチスケール分散検出
- Authors: Ji Zhang, Lianli Gao, Bingguang Hao, Hao Huang, Jingkuan Song, Hengtao
Shen
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、イン・ディストリビューション(ID)トレーニングプロセス中にラベルが見られない未知のデータを検出することを目的としている。
近年の表現学習の進歩により,距離に基づくOOD検出がもたらされる。
グローバルな視覚情報と局所的な情報の両方を活用する第1のフレームワークであるマルチスケールOOD検出(MODE)を提案する。
- 参考スコア(独自算出の注目度): 129.37607313927458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection aims to detect "unknown" data whose
labels have not been seen during the in-distribution (ID) training process.
Recent progress in representation learning gives rise to distance-based OOD
detection that recognizes inputs as ID/OOD according to their relative
distances to the training data of ID classes. Previous approaches calculate
pairwise distances relying only on global image representations, which can be
sub-optimal as the inevitable background clutter and intra-class variation may
drive image-level representations from the same ID class far apart in a given
representation space. In this work, we overcome this challenge by proposing
Multi-scale OOD DEtection (MODE), a first framework leveraging both global
visual information and local region details of images to maximally benefit OOD
detection. Specifically, we first find that existing models pretrained by
off-the-shelf cross-entropy or contrastive losses are incompetent to capture
valuable local representations for MODE, due to the scale-discrepancy between
the ID training and OOD detection processes. To mitigate this issue and
encourage locally discriminative representations in ID training, we propose
Attention-based Local PropAgation (ALPA), a trainable objective that exploits a
cross-attention mechanism to align and highlight the local regions of the
target objects for pairwise examples. During test-time OOD detection, a
Cross-Scale Decision (CSD) function is further devised on the most
discriminative multi-scale representations to distinguish ID/OOD data more
faithfully. We demonstrate the effectiveness and flexibility of MODE on several
benchmarks -- on average, MODE outperforms the previous state-of-the-art by up
to 19.24% in FPR, 2.77% in AUROC. Code is available at
https://github.com/JimZAI/MODE-OOD.
- Abstract(参考訳): out-of-distribution(ood)検出は、id(in-distribution)トレーニングプロセス中にラベルが見られていない"未知"データを検出することを目的としている。
近年の表現学習の進歩は,IDクラスの訓練データとの相対的距離に応じて,入力をID/OODとして認識する距離に基づくOOD検出がもたらされている。
従来のアプローチでは、大域的な画像表現のみに依存するペアワイズ距離を計算しており、これは避けられない背景クラッタとして最適であり、クラス内の変動は、与えられた表現空間において同じIDクラスから遠く離れたイメージレベル表現を駆動することができる。
本研究では,OOD検出の最大化のために,グローバルな視覚情報と画像の局所的な詳細の両方を活用する第1のフレームワークであるMODE(Multi-scale OOD Detectction)を提案する。
具体的には,既存のモデルが既往のクロスエントロピーや対照的な損失によって事前訓練されている場合,IDトレーニングとOOD検出プロセスのスケール差により,MODEの貴重な局所表現を捕捉できないことが最初に明らかになった。
この問題を緩和し,IDトレーニングにおける局所的な識別的表現を促進するために,対象対象の局所領域を相互に整列し強調するクロスアテンション機構を利用したトレーニング可能な目標である注意ベースローカルプロパゲーション(ALPA)を提案する。
テスト時間OOD検出において、ID/OODデータをより忠実に識別するために、最も識別性の高いマルチスケール表現に対して、クロススケール決定(CSD)関数がさらに考案される。
我々は、いくつかのベンチマークにおいて、MODEの有効性と柔軟性を実証する。平均して、MODEは、FPRで19.24%、AUROCで2.77%、過去の最先端よりも優れている。
コードはhttps://github.com/JimZAI/MODE-OOD.comで入手できる。
関連論文リスト
- EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - ID-like Prompt Learning for Few-Shot Out-of-Distribution Detection [49.974181775894536]
アウト・オブ・ディストリビューション(OOD)検出法は、OODサンプルを識別するモデルを訓練するために補助的なアウトレーヤを利用することが多い。
我々は,IDサンプルの近傍空間からCLIPを用いて,IDのような外れ値を検出する新しいOOD検出フレームワークを提案する。
OOD検出のためのCLIPの機能をさらに活用するために、識別されたIDライクなアウトレイラを利用した即時学習フレームワークが提案されている。
論文 参考訳(メタデータ) (2023-11-26T09:06:40Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - LoCoOp: Few-Shot Out-of-Distribution Detection via Prompt Learning [37.36999826208225]
本稿では,数発のアウト・オブ・ディストリビューション(OOD)検出のための新しい視覚言語プロンプト学習手法を提案する。
LoCoOpは、トレーニング中にCLIPローカル機能の一部をOOD機能として利用するOOD正規化を実行する。
LoCoOpは、既存のゼロショットと完全に教師付き検出方法より優れている。
論文 参考訳(メタデータ) (2023-06-02T06:33:08Z) - Background Matters: Enhancing Out-of-distribution Detection with Domain
Features [90.32910087103744]
OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。
既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。
本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-15T16:12:14Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-08-03T17:09:56Z) - OODformer: Out-Of-Distribution Detection Transformer [15.17006322500865]
現実世界の安全クリティカルなアプリケーションでは、新しいデータポイントがOODであるかどうかを認識することが重要です。
本稿では,OODformer というファースト・オブ・ザ・キンドな OOD 検出アーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-07-19T15:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。