論文の概要: T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for
OOD Detection
- arxiv url: http://arxiv.org/abs/2305.17797v1
- Date: Sun, 28 May 2023 18:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:37:37.797534
- Title: T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for
OOD Detection
- Title(参考訳): T2FNorm:OOD検出のための超簡易な列車時特徴正規化
- Authors: Sudarshan Regmi, Bibek Panthi, Sakar Dotel, Prashnna K. Gyawali,
Danail Stoynov, Binod Bhattarai
- Abstract要約: ニューラルネットをトレーニングする新しいアプローチであるT2FNormを導入し,特徴を正規化を通じて超球面空間に変換する。
In-distribution(ID)におけるモデル精度を損なうことなくOOD検出能力を驚くほど向上させる方法である。
- 参考スコア(独自算出の注目度): 8.012852750139979
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are notorious for being overconfident predictors, posing a
significant challenge to their safe deployment in real-world applications.
While feature normalization has garnered considerable attention within the deep
learning literature, current train-time regularization methods for
Out-of-Distribution(OOD) detection are yet to fully exploit this potential.
Indeed, the naive incorporation of feature normalization within neural networks
does not guarantee an improvement in OOD detection performance. In this work,
we introduce T2FNorm, a novel approach to training neural networks that
transforms features to hyperspherical space through normalization, while
employing non-transformed space for OOD-scoring purposes. This method yields a
surprising enhancement in OOD detection capabilities without compromising model
accuracy in in-distribution(ID). Our investigation demonstrates that the
proposed technique substantially diminishes the norm of the features of all
samples, more so in the case of out-of-distribution samples, thereby addressing
the prevalent concern of overconfidence in neural networks. The proposed method
also significantly improves various post-hoc OOD detection methods.
- Abstract(参考訳): ニューラルネットワークは、自信過剰な予測者として有名であり、現実世界のアプリケーションにおける安全なデプロイメントにとって大きな課題となっている。
機能正規化は深層学習の文献で注目されているが、現在の列車時間正規化手法であるOut-of-Distribution(OOD)検出は、この可能性を十分に活用していない。
実際、ニューラルネットワークにおける特徴正規化のナイーブな組み込みは、ood検出性能の改善を保証しない。
本研究では,OODスコーリングの目的に非変換空間を用いながら,特徴を正規化を通じて超球面空間に変換するニューラルネットワークのトレーニング手法であるT2FNormを紹介する。
In-distribution(ID)におけるモデル精度を損なうことなく,OOD検出能力を驚くほど向上させる。
本研究は,提案手法がすべてのサンプルの特徴の規範を実質的に減少させることを実証するものである。
提案手法は, ポストホックOOD検出法を大幅に改善する。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Robustness to Spurious Correlations Improves Semantic
Out-of-Distribution Detection [24.821151013905865]
画像入力のアウト・オブ・ディストリビューション(OOD)検出のための有望なアプローチとして,予測モデルの出力や特徴表現を利用する手法が登場した。
SN-OOD検出の故障について説明し、その対策としてニュアンス対応のOOD検出を提案する。
論文 参考訳(メタデータ) (2023-02-08T15:28:33Z) - Model2Detector:Widening the Information Bottleneck for
Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。
推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。
提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-22T23:03:40Z) - ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。
主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。
我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
論文 参考訳(メタデータ) (2021-11-24T21:02:07Z) - On the Impact of Spurious Correlation for Out-of-distribution Detection [14.186776881154127]
我々は、不変性と環境特性の両方を考慮して、データシフトをモデル化し、新しい形式化を提案する。
その結果, トレーニングセットにおいて, 突発的特徴とラベルの相関が大きくなると, 検出性能が著しく悪化することが示唆された。
論文 参考訳(メタデータ) (2021-09-12T23:58:17Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳(メタデータ) (2021-07-01T17:59:07Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳(メタデータ) (2020-12-10T23:28:36Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。