論文の概要: Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization

• arxiv url: http://arxiv.org/abs/2306.02879v1
• Date: Mon, 5 Jun 2023 13:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 14:54:58.189705
• Title: Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization
• Title（参考訳）: ニューロン活性化被覆 : 分布外検出と一般化の再考
• Authors: Yibing Liu, Chris Xing Tian, Haoliang Li, Lei Ma, Shiqi Wang
• Abstract要約: InDデータとOODデータに基づくニューロンの挙動を特徴付けるテクスチトニューロンアクティベーションカバレッジ(NAC)の概念を提案する。 InDとOODの入力はニューロンの挙動に基づいて自然に分離できることを示し,OOD検出問題を著しく緩和する。
• 参考スコア（独自算出の注目度）: 28.41414488799691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The out-of-distribution (OOD) problem generally arises when neural networks encounter data that significantly deviates from the training data distribution, \ie, in-distribution (InD). In this paper, we study the OOD problem from a neuron activation view. We first formulate neuron activation states by considering both the neuron output and its influence on model decisions. Then, we propose the concept of \textit{neuron activation coverage} (NAC), which characterizes the neuron behaviors under InD and OOD data. Leveraging our NAC, we show that 1) InD and OOD inputs can be naturally separated based on the neuron behavior, which significantly eases the OOD detection problem and achieves a record-breaking performance of 0.03% FPR95 on ResNet-50, outperforming the previous best method by 20.67%; 2) a positive correlation between NAC and model generalization ability consistently holds across architectures and datasets, which enables a NAC-based criterion for evaluating model robustness. By comparison with the traditional validation criterion, we show that NAC-based criterion not only can select more robust models, but also has a stronger correlation with OOD test performance.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)問題は、ニューラルネットワークがトレーニングデータ分布である \ie, in-distribution (InD) から著しく逸脱したデータに遭遇したときに発生する。 本稿では,ニューロン活性化の観点からOOD問題を考察する。 まず、ニューロンの出力とモデル決定への影響を考慮し、ニューロンの活性化状態を定式化する。 次に、InDおよびOODデータに基づくニューロンの挙動を特徴付ける「textit{neuron activation coverage} (NAC)」の概念を提案する。 NACを活用することで、私たちはそれを示します。 1) InD及びOOD入力は、ニューロンの挙動に基づいて自然に分離することができ、OOD検出問題を著しく緩和し、ResNet-50上では0.03%のFPR95を記録的性能で達成し、前回のベストメソッドを20.67%上回る。 2)NACとモデル一般化能力の正の相関関係はアーキテクチャやデータセット間で一貫して保持され,NACに基づくモデルロバスト性の評価基準を実現する。 従来の検証基準と比較すると,NACに基づく基準はより堅牢なモデルを選択するだけでなく,OODテスト性能との相関性も強いことがわかった。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
  本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。 本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:49:05Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Detection of out-of-distribution samples using binary neuron activation patterns [0.26249027950824505]
  未確認入力を新しいものとして識別する能力は、自動運転車、無人航空機、ロボットなどの安全上重要な応用に不可欠である。 OODサンプルを検出するための既存のアプローチでは、DNNをブラックボックスとして扱い、出力予測の信頼性スコアを評価する。 本稿では,新しいOOD検出法を提案する。本手法は,ReLUアーキテクチャにおけるニューロン活性化パターン(NAP)の理論的解析に動機付けられている。
  論文  参考訳（メタデータ） (2022-12-29T11:42:46Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Early Bearing Fault Diagnosis of Rotating Machinery by 1D Self-Organized Operational Neural Networks [23.455010509133313]
  現代の電気回転機械(RM)の予防メンテナンスは、信頼性の高い運転の確保、予測不能な故障の防止、コストのかかる修理の回避に重要である。 本研究では1次元自己組織型ONN(Self-ONNs)を提案する。 NSF/IMSベアリング振動データセットに対する実験結果から,提案した1D Self-ONNは,計算複雑性の類似した最先端(1D CNN)に対して,大きな性能ギャップを達成できることが示された。
  論文  参考訳（メタデータ） (2021-09-30T06:32:34Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。