論文の概要: GradOrth: A Simple yet Efficient Out-of-Distribution Detection with
Orthogonal Projection of Gradients
- arxiv url: http://arxiv.org/abs/2308.00310v1
- Date: Tue, 1 Aug 2023 06:12:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 15:10:28.560561
- Title: GradOrth: A Simple yet Efficient Out-of-Distribution Detection with
Orthogonal Projection of Gradients
- Title（参考訳）: GradOrth: 勾配の直交投影による簡易かつ効率的な分布検出
- Authors: Sima Behpour, Thang Doan, Xin Li, Wenbin He, Liang Gou, Liu Ren
- Abstract要約: オフ・オブ・ディストリビューション(OOD)データは、現実世界のアプリケーションに機械学習モデルの安全なデプロイを保証するために不可欠である。
1つの興味深い観測に基づくOOD検出を容易にするため,GradOrthと呼ばれる新しい手法を提案する。
この単純で効果的な手法は優れた性能を示し、現在の最先端法と比較して95%の真正率(FPR95)で平均偽陽性率の顕著な低下を示す。
- 参考スコア（独自算出の注目度）: 24.50445616970387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting out-of-distribution (OOD) data is crucial for ensuring the safe
deployment of machine learning models in real-world applications. However,
existing OOD detection approaches primarily rely on the feature maps or the
full gradient space information to derive OOD scores neglecting the role of
most important parameters of the pre-trained network over in-distribution (ID)
data. In this study, we propose a novel approach called GradOrth to facilitate
OOD detection based on one intriguing observation that the important features
to identify OOD data lie in the lower-rank subspace of in-distribution (ID)
data. In particular, we identify OOD data by computing the norm of gradient
projection on the subspaces considered important for the in-distribution data.
A large orthogonal projection value (i.e. a small projection value) indicates
the sample as OOD as it captures a weak correlation of the ID data. This simple
yet effective method exhibits outstanding performance, showcasing a notable
reduction in the average false positive rate at a 95% true positive rate
(FPR95) of up to 8% when compared to the current state-of-the-art methods.
- Abstract（参考訳）: 現実世界のアプリケーションに機械学習モデルの安全なデプロイを保証するためには、OOD(out-of-distriion)データの検出が不可欠である。
しかし、既存のOOD検出手法は、主に特徴マップや全勾配空間情報に依存して、事前学習されたネットワークにおける最も重要なパラメータの役割を無視するOODスコアを導出する。
本研究では,OODデータを識別する重要な特徴が分布内データ(ID)の下位部分空間にあるという興味深い観察に基づいて,GradOrthと呼ばれる新しい手法を提案する。
特に,分布内データにとって重要と考えられる部分空間上の勾配投影のノルムを計算し,OODデータを同定する。
大きな直交射影値(すなわち小さな射影値)は、サンプルをOODとして示し、IDデータの弱い相関を捉えている。
この単純で効果的な方法は優れた性能を示し、現在の最先端法と比較して95%の真正率 (fpr95) で平均偽陽性率を8%まで低下させた。
関連論文リスト
- EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳（メタデータ） (2023-12-14T13:47:13Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳（メタデータ） (2023-11-28T02:00:47Z) - Out-of-distribution Detection Learning with Unreliable
Out-of-distribution Sources [73.28967478098107]
アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。
通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。
本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:26:52Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Out-of-distribution Detection with Implicit Outlier Transformation [72.73711947366377]
外周露光(OE)は、オフ・オブ・ディストリビューション(OOD)検出において強力である。
我々は,未確認のOOD状況に対してモデルの性能を良くする,新しいOEベースのアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-09T04:36:38Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - How Useful are Gradients for OOD Detection Really? [5.459639971144757]
Out of Distribution(OOD)検出は、リアルタイムアプリケーションに高性能な機械学習モデルをデプロイする上で重要な課題である。
OOD検出のための勾配法を詳細に解析し,比較する。
本稿では,OOD検出における性能と計算効率の両面において,従来のベースラインよりも向上した汎用的,非段階的なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-05-20T21:10:05Z) - RODD: A Self-Supervised Approach for Robust Out-of-Distribution
Detection [12.341250124228859]
本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。
提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。
自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-06T03:05:58Z) - Training OOD Detectors in their Natural Habitats [31.565635192716712]
アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。
近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。
我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-07T15:38:39Z) - On the Importance of Gradients for Detecting Distributional Shifts in
the Wild [15.548068221414384]
勾配空間から抽出した情報を利用してOOD入力を簡易かつ効果的に検出するGradNormを提案する。
GradNormは優れた性能を示し、FPR95の平均値は以前のベストメソッドに比べて最大10.89%削減された。
論文 参考訳（メタデータ） (2021-10-01T05:19:32Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳（メタデータ） (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。