論文の概要: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms

• arxiv url: http://arxiv.org/abs/2407.14097v1
• Date: Fri, 19 Jul 2024 08:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-22 18:23:52.961545
• Title: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms
• Title（参考訳）: 前向き学習アルゴリズムを用いたオープンワールドシナリオにおける完全スポーキングニューラルネットワークのロバスト性について
• Authors: Erik B. Terres-Escudero, Javier Del Ser, Aitor Martínez-Seras, Pablo Garcia-Bringas,
• Abstract要約: 我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。 提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。 また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
• 参考スコア（独自算出の注目度）: 6.7236795813629
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the last decade, Artificial Intelligence (AI) models have rapidly integrated into production pipelines propelled by their excellent modeling performance. However, the development of these models has not been matched by advancements in algorithms ensuring their safety, failing to guarantee robust behavior against Out-of-Distribution (OoD) inputs outside their learning domain. Furthermore, there is a growing concern with the sustainability of AI models and their required energy consumption in both training and inference phases. To mitigate these issues, this work explores the use of the Forward-Forward Algorithm (FFA), a biologically plausible alternative to Backpropagation, adapted to the spiking domain to enhance the overall energy efficiency of the model. By capitalizing on the highly expressive topology emerging from the latent space of models trained with FFA, we develop a novel FF-SCP algorithm for OoD Detection. Our approach measures the likelihood of a sample belonging to the in-distribution (ID) data by using the distance from the latent representation of samples to class-representative manifolds. Additionally, to provide deeper insights into our OoD pipeline, we propose a gradient-free attribution technique that highlights the features of a sample pushing it away from the distribution of any class. Multiple experiments using our spiking FFA adaptation demonstrate that the achieved accuracy levels are comparable to those seen in analog networks trained via back-propagation. Furthermore, OoD detection experiments on multiple datasets prove that FF-SCP outperforms avant-garde OoD detectors within the spiking domain in terms of several metrics used in this area. We also present a qualitative analysis of our explainability technique, exposing the precision by which the method detects OoD features, such as embedded artifacts or missing regions.
• Abstract（参考訳）: 過去10年間で、人工知能(AI)モデルは、優れたモデリング性能によって推進される生産パイプラインに急速に統合されている。 しかし,これらのモデルの開発は,学習領域外のアウト・オブ・ディストリビューション(OoD)インプットに対して堅牢な動作を保証できないアルゴリズムの進歩と一致していない。 さらに、AIモデルの持続可能性や、トレーニングフェーズと推論フェーズの両方で必要なエネルギー消費に懸念が高まっている。 これらの問題を緩和するために、モデル全体のエネルギー効率を高めるためにスパイキング領域に適応したバックプロパゲーションの生物学的に妥当な代替品であるフォワードフォワードアルゴリズム(FFA)の使用を検討する。 我々は,FFAで訓練されたモデルの潜在空間から高表現性トポロジーを生かして,OoD検出のための新しいFF-SCPアルゴリズムを開発した。 提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。 さらに,OoDパイプラインのより深い洞察を得るために,任意のクラスの分布から分離するサンプルの特徴を強調表示する勾配のない属性手法を提案する。 スパイクFFA適応を用いた複数の実験により、達成された精度は、バックプロパゲーションによって訓練されたアナログネットワークで見られるものと同等であることが示された。 さらに、複数のデータセット上でのOoD検出実験により、FF-SCPは、この領域で使用されるいくつかの指標で、スパイキング領域内のアバンギャルドOoD検出器より優れていることが証明された。 また,本手法が組込みアーティファクトや欠落領域などのOoD特徴を検出する精度を明らかにすることによって,説明可能性に関する定性的な分析を行う。

関連論文リスト

• Investigating Application of Deep Neural Networks in Intrusion Detection System Design [0.0]
  研究の目的は、ディープニューラルネットワーク(DNN)のアプリケーションが、悪意のあるネットワーク侵入を正確に検出し、特定できるかどうかを学習することである。 実験結果は,ネットワーク侵入の分類を正確に正確に識別するためのモデルのサポートを示さなかった。
  論文  参考訳（メタデータ） (2025-01-27T04:06:30Z)
• Diffusion-based Layer-wise Semantic Reconstruction for Unsupervised Out-of-Distribution Detection [30.02748131967826]
  教師なしのアウト・オブ・ディストリビューション(OOD)検出は、未ラベルのIn-Distribution(ID)トレーニングサンプルからのみ学習することで、ドメイン外のデータを識別することを目的としている。 現在の再構成手法は, 画素/機能空間における入力と対応する生成物間の再構成誤差を測定することで, 優れた代替手法を提供する。 拡散に基づく階層的意味再構成手法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T04:54:07Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Generative Edge Detection with Stable Diffusion [52.870631376660924]
  エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。 本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。 複数のデータセットに対して広範な実験を行い、競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-04T01:52:23Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Test-Time Domain Generalization for Face Anti-Spoofing [60.94384914275116]
  Face Anti-Spoofing (FAS) は、顔認識システムをプレゼンテーション攻撃から保護するために重要である。 本稿では,テストデータを活用してモデルの一般化性を高める新しいテスト時間領域一般化フレームワークについて紹介する。 テスト時間スタイル投影 (TTSP) とディバーススタイルシフトシミュレーション (DSSS) によって構成された本手法は, 目に見えないデータを領域空間に効果的に投影する。
  論文  参考訳（メタデータ） (2024-03-28T11:50:23Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
  Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。 近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。 本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
  論文  参考訳（メタデータ） (2023-12-18T09:52:14Z)
• SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution Detection [11.05254400092658]
  我々は,OoD検出精度を高めるために,ワッサースタインスコアを用いた生成逆学習手法を提案する。 具体的には、このジェネレータはOoD空間を探索し、識別器からのフィードバックを用いて合成OoDサンプルを生成する。 提案手法は,様々なコンピュータビジョンデータセットにおける最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-12T05:20:18Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• A Survey on Generative Diffusion Model [75.93774014861978]
  拡散モデルは、深層生成モデルの新たなクラスである。 時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。 本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
  論文  参考訳（メタデータ） (2022-09-06T16:56:21Z)
• Unsupervised Domain Adaptive Salient Object Detection Through Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
  そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。 提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-26T16:03:55Z)
• Improving Variational Autoencoder based Out-of-Distribution Detection for Embedded Real-time Applications [2.9327503320877457]
  アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。 本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。 提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。 また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
  論文  参考訳（メタデータ） (2021-07-25T07:52:53Z)
• A Compact Deep Learning Model for Face Spoofing Detection [4.250231861415827]
  プレゼンテーションアタック検出(PAD)は研究コミュニティから大きな注目を集めている。 我々は、統一されたニューラルネットワークアーキテクチャにおいて、幅広い機能と深い機能の両方を融合することで、この問題に対処する。 この手順は、ROSE-Youtu、SiW、NUAA Imposterなどのさまざまなスプーフィングデータセットで行われます。
  論文  参考訳（メタデータ） (2021-01-12T21:20:09Z)
• Entropy Maximization and Meta Classification for Out-Of-Distribution Detection in Semantic Segmentation [7.305019142196585]
  自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。 OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。 そのアプローチを大幅に改善する2段階の手順を提案する。
  論文  参考訳（メタデータ） (2020-12-09T11:01:06Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Gradients as a Measure of Uncertainty in Neural Networks [16.80077149399317]
  本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。 本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T16:58:46Z)
• Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
  オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。 CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。 複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-12T06:23:49Z)
• SEKD: Self-Evolving Keypoint Detection and Description [42.114065439674036]
  ラベルのない自然画像から高度な局所特徴モデルを学ぶための自己教師型フレームワークを提案する。 提案手法は, ホモグラフィー推定, 相対的なポーズ推定, および動きからの構造的タスクについてベンチマークする。 トレーニングされたモデルとともに、コードを公開します。
  論文  参考訳（メタデータ） (2020-06-09T06:56:50Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。