Fugu-MT 論文翻訳(概要): Out-of-Distribution Detection using Neural Activation Prior

論文の概要: Out-of-Distribution Detection using Neural Activation Prior

arxiv url: http://arxiv.org/abs/2402.18162v4
Date: Fri, 24 May 2024 10:27:50 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 20:56:39.356998
Title: Out-of-Distribution Detection using Neural Activation Prior
Title（参考訳）: ニューラルアクティベーション事前を用いたアウト・オブ・ディストリビューション検出
Authors: Weilin Wan, Weizhong Zhang, Quan Zhou, Fan Yi, Cheng Jin,
Abstract要約: アウト・オブ・ディストリビューション検出(OOD)は、機械学習モデルを現実世界にデプロイする上で重要な技術である。 OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。提案手法は,CIFARベンチマークとImageNetデータセット上での最先端性能を実現する。
参考スコア（独自算出の注目度）: 15.673290330356194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Out-of-distribution detection (OOD) is a crucial technique for deploying machine learning models in the real world to handle the unseen scenarios. In this paper, we first propose a simple yet effective Neural Activation Prior (NAP) for OOD detection. Our neural activation prior is based on a key observation that, for a channel before the global pooling layer of a fully trained neural network, the probability of a few neurons being activated with a large response by an in-distribution (ID) sample is significantly higher than that by an OOD sample. An intuitive explanation is that for a model fully trained on ID dataset, each channel would play a role in detecting a certain pattern in the ID dataset, and a few neurons can be activated with a large response when the pattern is detected in an input sample. Then, a new scoring function based on this prior is proposed to highlight the role of these strongly activated neurons in OOD detection. Our approach is plug-and-play and does not lead to any performance degradation on ID data classification and requires no extra training or statistics from training or external datasets. Notice that previous methods primarily rely on post-global-pooling features of the neural networks, while the within-channel distribution information we leverage would be discarded by the global pooling operator. Consequently, our method is orthogonal to existing approaches and can be effectively combined with them in various applications. Experimental results show that our method achieves the state-of-the-art performance on CIFAR benchmark and ImageNet dataset, which demonstrates the power of the proposed prior. Finally, we extend our method to Transformers and the experimental findings indicate that NAP can also significantly enhance the performance of OOD detection on Transformers, thereby demonstrating the broad applicability of this prior knowledge.
Abstract（参考訳）: アウト・オブ・ディストリビューション検出(OOD)は、目に見えないシナリオを扱うために、現実世界に機械学習モデルをデプロイするための重要なテクニックである。本稿では,OOD検出のためのシンプルで効果的なニューラルアクティベーションプリミティブ(NAP)を提案する。我々の神経活性化は、十分に訓練されたニューラルネットワークのグローバルプール層の前のチャネルにおいて、分布内(ID)サンプルによって大きな応答で活性化される少数のニューロンの確率がOODサンプルよりも著しく高いという重要な観察に基づいている。直感的な説明として、IDデータセットで完全に訓練されたモデルでは、各チャネルがIDデータセット内の特定のパターンを検出する役割を担い、入力サンプルでパターンを検出すると、少数のニューロンが大きな応答で活性化される。次に、これらの強力な活性化ニューロンのOOD検出における役割を明らかにするために、この前報に基づく新たなスコアリング関数を提案する。当社のアプローチはプラグアンドプレイであり、IDデータ分類のパフォーマンス低下には至らず、トレーニングや外部データセットによる追加のトレーニングや統計処理は必要ありません。従来の手法は主にニューラルネットワークのポストグローバルプール機能に依存していたが、私たちが利用するチャネル内分布情報はグローバルプール演算子によって破棄される。その結果,本手法は既存のアプローチと直交しており,様々なアプリケーションで効果的に組み合わせることができる。実験の結果,提案手法はCIFARベンチマークとImageNetデータセット上での最先端性能を実現し,提案手法のパワーを実証した。最後に,本手法をトランスフォーマに拡張し,実験結果から,NAPはトランスフォーマ上でのOOD検出性能を大幅に向上させることができることが示唆された。

関連論文リスト

Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
論文参考訳（メタデータ） (2024-04-18T17:50:23Z)
Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection [27.062465089674763]
ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
論文参考訳（メタデータ） (2023-10-27T12:42:17Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文参考訳（メタデータ） (2023-06-06T14:23:34Z)
LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文参考訳（メタデータ） (2023-03-24T13:49:05Z)
Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文参考訳（メタデータ） (2023-02-06T16:38:43Z)
Detection of out-of-distribution samples using binary neuron activation patterns [0.26249027950824505]
未確認入力を新しいものとして識別する能力は、自動運転車、無人航空機、ロボットなどの安全上重要な応用に不可欠である。 OODサンプルを検出するための既存のアプローチでは、DNNをブラックボックスとして扱い、出力予測の信頼性スコアを評価する。本稿では,新しいOOD検出法を提案する。本手法は,ReLUアーキテクチャにおけるニューロン活性化パターン(NAP)の理論的解析に動機付けられている。
論文参考訳（メタデータ） (2022-12-29T11:42:46Z)
Beyond Mahalanobis-Based Scores for Textual OOD Detection [32.721317681946246]
動作要件を満たすTransformerアーキテクチャに基づく分類器のための新しいOOD検出器TRUSTEDを紹介する。 TRUSTEDの効率性は、すべての隠された層がOODのサンプルを検出するための関連情報を持っているという実りある考えに依存している。実験では、さまざまなチェックポイント、シード、データセットを含む51kのモデル構成を取り上げ、TRUSTEDが最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-11-24T10:51:58Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。