論文の概要: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms

• arxiv url: http://arxiv.org/abs/2407.14097v1
• Date: Fri, 19 Jul 2024 08:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:23:52.961545
• Title: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms
• Title（参考訳）: 前向き学習アルゴリズムを用いたオープンワールドシナリオにおける完全スポーキングニューラルネットワークのロバスト性について
• Authors: Erik B. Terres-Escudero, Javier Del Ser, Aitor Martínez-Seras, Pablo Garcia-Bringas,
• Abstract要約: 我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。 提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。 また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
• 参考スコア（独自算出の注目度）: 6.7236795813629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last decade, Artificial Intelligence (AI) models have rapidly integrated into production pipelines propelled by their excellent modeling performance. However, the development of these models has not been matched by advancements in algorithms ensuring their safety, failing to guarantee robust behavior against Out-of-Distribution (OoD) inputs outside their learning domain. Furthermore, there is a growing concern with the sustainability of AI models and their required energy consumption in both training and inference phases. To mitigate these issues, this work explores the use of the Forward-Forward Algorithm (FFA), a biologically plausible alternative to Backpropagation, adapted to the spiking domain to enhance the overall energy efficiency of the model. By capitalizing on the highly expressive topology emerging from the latent space of models trained with FFA, we develop a novel FF-SCP algorithm for OoD Detection. Our approach measures the likelihood of a sample belonging to the in-distribution (ID) data by using the distance from the latent representation of samples to class-representative manifolds. Additionally, to provide deeper insights into our OoD pipeline, we propose a gradient-free attribution technique that highlights the features of a sample pushing it away from the distribution of any class. Multiple experiments using our spiking FFA adaptation demonstrate that the achieved accuracy levels are comparable to those seen in analog networks trained via back-propagation. Furthermore, OoD detection experiments on multiple datasets prove that FF-SCP outperforms avant-garde OoD detectors within the spiking domain in terms of several metrics used in this area. We also present a qualitative analysis of our explainability technique, exposing the precision by which the method detects OoD features, such as embedded artifacts or missing regions.
• Abstract（参考訳）: 過去10年間で、人工知能(AI)モデルは、優れたモデリング性能によって推進される生産パイプラインに急速に統合されている。 しかし,これらのモデルの開発は,学習領域外のアウト・オブ・ディストリビューション(OoD)インプットに対して堅牢な動作を保証できないアルゴリズムの進歩と一致していない。 さらに、AIモデルの持続可能性や、トレーニングフェーズと推論フェーズの両方で必要なエネルギー消費に懸念が高まっている。 これらの問題を緩和するために、モデル全体のエネルギー効率を高めるためにスパイキング領域に適応したバックプロパゲーションの生物学的に妥当な代替品であるフォワードフォワードアルゴリズム(FFA)の使用を検討する。 我々は,FFAで訓練されたモデルの潜在空間から高表現性トポロジーを生かして,OoD検出のための新しいFF-SCPアルゴリズムを開発した。 提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。 さらに,OoDパイプラインのより深い洞察を得るために,任意のクラスの分布から分離するサンプルの特徴を強調表示する勾配のない属性手法を提案する。 スパイクFFA適応を用いた複数の実験により、達成された精度は、バックプロパゲーションによって訓練されたアナログネットワークで見られるものと同等であることが示された。 さらに、複数のデータセット上でのOoD検出実験により、FF-SCPは、この領域で使用されるいくつかの指標で、スパイキング領域内のアバンギャルドOoD検出器より優れていることが証明された。 また,本手法が組込みアーティファクトや欠落領域などのOoD特徴を検出する精度を明らかにすることによって,説明可能性に関する定性的な分析を行う。

関連論文リスト

• Investigating Application of Deep Neural Networks in Intrusion Detection System Design [0.0]
  研究の目的は、ディープニューラルネットワーク(DNN)のアプリケーションが、悪意のあるネットワーク侵入を正確に検出し、特定できるかどうかを学習することである。 実験結果は,ネットワーク侵入の分類を正確に正確に識別するためのモデルのサポートを示さなかった。
  論文  参考訳（メタデータ） (2025-01-27T04:06:30Z)
• Generative Edge Detection with Stable Diffusion [52.870631376660924]
  エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。 本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。 複数のデータセットに対して広範な実験を行い、競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-04T01:52:23Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• A Compact Deep Learning Model for Face Spoofing Detection [4.250231861415827]
  プレゼンテーションアタック検出(PAD)は研究コミュニティから大きな注目を集めている。 我々は、統一されたニューラルネットワークアーキテクチャにおいて、幅広い機能と深い機能の両方を融合することで、この問題に対処する。 この手順は、ROSE-Youtu、SiW、NUAA Imposterなどのさまざまなスプーフィングデータセットで行われます。
  論文  参考訳（メタデータ） (2021-01-12T21:20:09Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
  本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。 本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T16:58:46Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• SEKD: Self-Evolving Keypoint Detection and Description [42.114065439674036]
  ラベルのない自然画像から高度な局所特徴モデルを学ぶための自己教師型フレームワークを提案する。 提案手法は, ホモグラフィー推定, 相対的なポーズ推定, および動きからの構造的タスクについてベンチマークする。 トレーニングされたモデルとともに、コードを公開します。
  論文  参考訳（メタデータ） (2020-06-09T06:56:50Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。