論文の概要: Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization

• arxiv url: http://arxiv.org/abs/2306.02879v2
• Date: Mon, 25 Sep 2023 09:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 02:21:13.360404
• Title: Neuron Activation Coverage: Rethinking Out-of-distribution Detection and Generalization
• Title（参考訳）: ニューロン活性化被覆 : 分布外検出と一般化の再考
• Authors: Yibing Liu, Chris Xing Tian, Haoliang Li, Lei Ma, Shiqi Wang
• Abstract要約: InDデータに基づくニューロン行動の簡易な測定法として,テクスチトニューロンアクティベーションカバレッジ(NAC)を導入する。 InDとOODの入力はニューロンの挙動に基づいて大きく分離することができ、OOD検出問題を著しく緩和できることを示す。
• 参考スコア（独自算出の注目度）: 34.88219742339634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The out-of-distribution (OOD) problem generally arises when neural networks encounter data that significantly deviates from the training data distribution, i.e., in-distribution (InD). In this paper, we study the OOD problem from a neuron activation view. We first formulate neuron activation states by considering both the neuron output and its influence on model decisions. Then, to characterize the relationship between neurons and OOD issues, we introduce the \textit{neuron activation coverage} (NAC) -- a simple measure for neuron behaviors under InD data. Leveraging our NAC, we show that 1) InD and OOD inputs can be largely separated based on the neuron behavior, which significantly eases the OOD detection problem and beats the 21 previous methods over three benchmarks (CIFAR-10, CIFAR-100, and ImageNet-1K). 2) a positive correlation between NAC and model generalization ability consistently holds across architectures and datasets, which enables a NAC-based criterion for evaluating model robustness. Compared to prevalent InD validation criteria, we show that NAC not only can select more robust models, but also has a stronger correlation with OOD test performance.
• Abstract（参考訳）: out-of-distribution(ood)問題は、一般的に、トレーニングデータ分散、すなわちin-distribution(ind)から著しく逸脱するデータにニューラルネットワークが遭遇したときに発生する。 本稿では,ニューロン活性化の観点からOOD問題を考察する。 まず、ニューロンの出力とモデル決定への影響を考慮し、ニューロンの活性化状態を定式化する。 次に、神経細胞とOOD問題との関係を特徴付けるために、InDデータに基づくニューロンの振る舞いの簡易な尺度である‘textit{neuron activation coverage’ (NAC) を導入する。 NACを活用することで、私たちはそれを示します。 1) ind と ood の入力はニューロンの挙動に基づいて大きく分離することができ、これは ood 検出問題を大幅に緩和し、3つのベンチマーク(cifar-10、cifar-100、imagenet-1k)で21の手法を上回った。 2)NACとモデル一般化能力の正の相関関係はアーキテクチャやデータセット間で一貫して保持され,NACに基づくモデルロバスト性の評価基準を実現する。 一般的なInDバリデーション基準と比較して,NACはより堅牢なモデルを選択するだけでなく,OODテスト性能との相関性も強いことを示す。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
  本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。 本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:49:05Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language Understanding [82.46024259137823]
  幅広いタスクに対するクロスモデル比較損失を提案する。 3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
  論文  参考訳（メタデータ） (2023-01-10T03:04:27Z)
• Detection of out-of-distribution samples using binary neuron activation patterns [0.26249027950824505]
  未確認入力を新しいものとして識別する能力は、自動運転車、無人航空機、ロボットなどの安全上重要な応用に不可欠である。 OODサンプルを検出するための既存のアプローチでは、DNNをブラックボックスとして扱い、出力予測の信頼性スコアを評価する。 本稿では,新しいOOD検出法を提案する。本手法は,ReLUアーキテクチャにおけるニューロン活性化パターン(NAP)の理論的解析に動機付けられている。
  論文  参考訳（メタデータ） (2022-12-29T11:42:46Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Early Bearing Fault Diagnosis of Rotating Machinery by 1D Self-Organized Operational Neural Networks [23.455010509133313]
  現代の電気回転機械(RM)の予防メンテナンスは、信頼性の高い運転の確保、予測不能な故障の防止、コストのかかる修理の回避に重要である。 本研究では1次元自己組織型ONN(Self-ONNs)を提案する。 NSF/IMSベアリング振動データセットに対する実験結果から,提案した1D Self-ONNは,計算複雑性の類似した最先端(1D CNN)に対して,大きな性能ギャップを達成できることが示された。
  論文  参考訳（メタデータ） (2021-09-30T06:32:34Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。