論文の概要: Forward-Forward Learning achieves Highly Selective Latent Representations for Out-of-Distribution Detection in Fully Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2407.14097v2
• Date: Wed, 19 Feb 2025 12:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:04.146941
• Title: Forward-Forward Learning achieves Highly Selective Latent Representations for Out-of-Distribution Detection in Fully Spiking Neural Networks
• Title（参考訳）: 完全スパイクニューラルネットワークにおける分布外検出のための前向き学習による高選択潜在表現の実現
• Authors: Erik B. Terres-Escudero, Javier Del Ser, Aitor Martínez-Seras, Pablo Garcia-Bringas,
• Abstract要約: 生物学的システムにインスパイアされたスパイキングニューラルネットワーク(SNN)は、限界を克服するための有望な道を提供する。 本研究では,これらの課題に対処するために,スパイクフォワードフォワードアルゴリズム(FFA)の可能性を検討する。 本稿では,クラス分布からサンプルを遠ざける特徴を検出するための,新しい非勾配属性法を提案する。
• 参考スコア（独自算出の注目度）: 6.7236795813629
• License:
• Abstract: In recent years, Artificial Intelligence (AI) models have achieved remarkable success across various domains, yet challenges persist in two critical areas: ensuring robustness against uncertain inputs and drastically increasing model efficiency during training and inference. Spiking Neural Networks (SNNs), inspired by biological systems, offer a promising avenue for overcoming these limitations. By operating in an event-driven manner, SNNs achieve low energy consumption and can naturally implement biological methods known for their high noise tolerance. In this work, we explore the potential of the spiking Forward-Forward Algorithm (FFA) to address these challenges, leveraging its representational properties for both Out-of-Distribution (OoD) detection and interpretability. To achieve this, we exploit the sparse and highly specialized neural latent space of FF networks to estimate the likelihood of a sample belonging to the training distribution. Additionally, we propose a novel, gradient-free attribution method to detect features that drive a sample away from class distributions, addressing the challenges posed by the lack of gradients in most visual interpretability methods for spiking models. We evaluate our OoD detection algorithm on well-known image datasets (e.g., Omniglot, Not-MNIST, CIFAR10), outperforming previous methods proposed in the recent literature for OoD detection in spiking networks. Furthermore, our attribution method precisely identifies salient OoD features, such as artifacts or missing regions, hence providing a visual explanatory interface for the user to understand why unknown inputs are identified as such by the proposed method.
• Abstract（参考訳）: 近年、人工知能(AI)モデルは様々な領域で顕著な成功を収めているが、不確実な入力に対する堅牢性の確保と、トレーニングと推論におけるモデル効率の大幅な向上という2つの重要な領域で課題が続いている。 生物学的システムにインスパイアされたスパイキングニューラルネットワーク(SNN)は、これらの制限を克服するための有望な道を提供する。 イベント駆動方式で動作することにより、SNNは低エネルギー消費を実現し、その高い耐雑音性で知られる生物学的手法を自然に実装することができる。 本研究では,これらの課題に対処するスパイクフォワードフォワードアルゴリズム(FFA)の可能性を探り,その表現特性をOoD(Out-of-Distribution)検出と解釈可能性の両方に活用する。 これを実現するために、FFネットワークのスパースかつ高度に専門化されたニューラル潜伏空間を利用して、トレーニング分布に属するサンプルの確率を推定する。 さらに,クラス分布からサンプルを遠ざける特徴を検出するための,新しい非勾配属性法を提案し,スパイキングモデルにおけるほとんどの視覚的解釈可能性法における勾配の欠如による課題に対処する。 我々は、よく知られた画像データセット(例えば、Omniglot、Not-MNIST、CIFAR10)を用いて、OoD検出アルゴリズムを評価し、スパイキングネットワークにおけるOoD検出のための最近の文献で提案された手法よりも優れている。 さらに, 提案手法は, 人工物や欠落した地域などの正常なOoD特徴を正確に識別し, 未知の入力がなぜ特定されたのかをユーザが理解するための視覚的説明インタフェースを提供する。

関連論文リスト

• Investigating Application of Deep Neural Networks in Intrusion Detection System Design [0.0]
  研究の目的は、ディープニューラルネットワーク(DNN)のアプリケーションが、悪意のあるネットワーク侵入を正確に検出し、特定できるかどうかを学習することである。 実験結果は,ネットワーク侵入の分類を正確に正確に識別するためのモデルのサポートを示さなかった。
  論文  参考訳（メタデータ） (2025-01-27T04:06:30Z)
• Generative Edge Detection with Stable Diffusion [52.870631376660924]
  エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。 本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。 複数のデータセットに対して広範な実験を行い、競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-04T01:52:23Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• A Compact Deep Learning Model for Face Spoofing Detection [4.250231861415827]
  プレゼンテーションアタック検出(PAD)は研究コミュニティから大きな注目を集めている。 我々は、統一されたニューラルネットワークアーキテクチャにおいて、幅広い機能と深い機能の両方を融合することで、この問題に対処する。 この手順は、ROSE-Youtu、SiW、NUAA Imposterなどのさまざまなスプーフィングデータセットで行われます。
  論文  参考訳（メタデータ） (2021-01-12T21:20:09Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
  本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。 本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T16:58:46Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• SEKD: Self-Evolving Keypoint Detection and Description [42.114065439674036]
  ラベルのない自然画像から高度な局所特徴モデルを学ぶための自己教師型フレームワークを提案する。 提案手法は, ホモグラフィー推定, 相対的なポーズ推定, および動きからの構造的タスクについてベンチマークする。 トレーニングされたモデルとともに、コードを公開します。
  論文  参考訳（メタデータ） (2020-06-09T06:56:50Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。