論文の概要: T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for OOD Detection

• arxiv url: http://arxiv.org/abs/2305.17797v1
• Date: Sun, 28 May 2023 18:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:37:37.797534
• Title: T2FNorm: Extremely Simple Scaled Train-time Feature Normalization for OOD Detection
• Title（参考訳）: T2FNorm:OOD検出のための超簡易な列車時特徴正規化
• Authors: Sudarshan Regmi, Bibek Panthi, Sakar Dotel, Prashnna K. Gyawali, Danail Stoynov, Binod Bhattarai
• Abstract要約: ニューラルネットをトレーニングする新しいアプローチであるT2FNormを導入し,特徴を正規化を通じて超球面空間に変換する。 In-distribution(ID)におけるモデル精度を損なうことなくOOD検出能力を驚くほど向上させる方法である。
• 参考スコア（独自算出の注目度）: 8.012852750139979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are notorious for being overconfident predictors, posing a significant challenge to their safe deployment in real-world applications. While feature normalization has garnered considerable attention within the deep learning literature, current train-time regularization methods for Out-of-Distribution(OOD) detection are yet to fully exploit this potential. Indeed, the naive incorporation of feature normalization within neural networks does not guarantee an improvement in OOD detection performance. In this work, we introduce T2FNorm, a novel approach to training neural networks that transforms features to hyperspherical space through normalization, while employing non-transformed space for OOD-scoring purposes. This method yields a surprising enhancement in OOD detection capabilities without compromising model accuracy in in-distribution(ID). Our investigation demonstrates that the proposed technique substantially diminishes the norm of the features of all samples, more so in the case of out-of-distribution samples, thereby addressing the prevalent concern of overconfidence in neural networks. The proposed method also significantly improves various post-hoc OOD detection methods.
• Abstract（参考訳）: ニューラルネットワークは、自信過剰な予測者として有名であり、現実世界のアプリケーションにおける安全なデプロイメントにとって大きな課題となっている。 機能正規化は深層学習の文献で注目されているが、現在の列車時間正規化手法であるOut-of-Distribution(OOD)検出は、この可能性を十分に活用していない。 実際、ニューラルネットワークにおける特徴正規化のナイーブな組み込みは、ood検出性能の改善を保証しない。 本研究では,OODスコーリングの目的に非変換空間を用いながら,特徴を正規化を通じて超球面空間に変換するニューラルネットワークのトレーニング手法であるT2FNormを紹介する。 In-distribution(ID)におけるモデル精度を損なうことなく,OOD検出能力を驚くほど向上させる。 本研究は,提案手法がすべてのサンプルの特徴の規範を実質的に減少させることを実証するものである。 提案手法は, ポストホックOOD検出法を大幅に改善する。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Mitigating Overconfidence in Out-of-Distribution Detection by Capturing Extreme Activations [1.8531577178922987]
  Overconfidence"は特定のニューラルネットワークアーキテクチャの本質的な性質であり、OOD検出の低さにつながる。 ニューラルネットワークの最後層における極端なアクティベーション値を計測し、この過信のプロキシを利用して、複数のOOD検出ベースラインを改善する。 基準値と比較すると,OOD検出は2桁に増加し,精度が向上することが多い。
  論文  参考訳（メタデータ） (2024-05-21T10:14:50Z)
• Distilling the Unknown to Unveil Certainty [66.29929319664167]
  標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
  論文  参考訳（メタデータ） (2023-11-14T08:05:02Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Robustness to Spurious Correlations Improves Semantic Out-of-Distribution Detection [24.821151013905865]
  画像入力のアウト・オブ・ディストリビューション(OOD)検出のための有望なアプローチとして,予測モデルの出力や特徴表現を利用する手法が登場した。 SN-OOD検出の故障について説明し、その対策としてニュアンス対応のOOD検出を提案する。
  論文  参考訳（メタデータ） (2023-02-08T15:28:33Z)
• ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
  オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。 主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。 我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:02:07Z)
• On the Impact of Spurious Correlation for Out-of-distribution Detection [14.186776881154127]
  我々は、不変性と環境特性の両方を考慮して、データシフトをモデル化し、新しい形式化を提案する。 その結果, トレーニングセットにおいて, 突発的特徴とラベルの相関が大きくなると, 検出性能が著しく悪化することが示唆された。
  論文  参考訳（メタデータ） (2021-09-12T23:58:17Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。