論文の概要: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms
- arxiv url: http://arxiv.org/abs/2407.14097v1
- Date: Fri, 19 Jul 2024 08:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 18:23:52.961545
- Title: On the Robustness of Fully-Spiking Neural Networks in Open-World Scenarios using Forward-Only Learning Algorithms
- Title（参考訳）: 前向き学習アルゴリズムを用いたオープンワールドシナリオにおける完全スポーキングニューラルネットワークのロバスト性について
- Authors: Erik B. Terres-Escudero, Javier Del Ser, Aitor Martínez-Seras, Pablo Garcia-Bringas,
- Abstract要約: 我々はフォワードフォワードアルゴリズム(FFA)を用いたOoD(Out-of-Distribution)検出のための新しいアルゴリズムを開発した。
提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。
また,任意のクラスの分布から遠ざかるサンプルの特徴を強調表示するグラデーションフリー属性手法を提案する。
- 参考スコア（独自算出の注目度）: 6.7236795813629
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the last decade, Artificial Intelligence (AI) models have rapidly integrated into production pipelines propelled by their excellent modeling performance. However, the development of these models has not been matched by advancements in algorithms ensuring their safety, failing to guarantee robust behavior against Out-of-Distribution (OoD) inputs outside their learning domain. Furthermore, there is a growing concern with the sustainability of AI models and their required energy consumption in both training and inference phases. To mitigate these issues, this work explores the use of the Forward-Forward Algorithm (FFA), a biologically plausible alternative to Backpropagation, adapted to the spiking domain to enhance the overall energy efficiency of the model. By capitalizing on the highly expressive topology emerging from the latent space of models trained with FFA, we develop a novel FF-SCP algorithm for OoD Detection. Our approach measures the likelihood of a sample belonging to the in-distribution (ID) data by using the distance from the latent representation of samples to class-representative manifolds. Additionally, to provide deeper insights into our OoD pipeline, we propose a gradient-free attribution technique that highlights the features of a sample pushing it away from the distribution of any class. Multiple experiments using our spiking FFA adaptation demonstrate that the achieved accuracy levels are comparable to those seen in analog networks trained via back-propagation. Furthermore, OoD detection experiments on multiple datasets prove that FF-SCP outperforms avant-garde OoD detectors within the spiking domain in terms of several metrics used in this area. We also present a qualitative analysis of our explainability technique, exposing the precision by which the method detects OoD features, such as embedded artifacts or missing regions.
- Abstract（参考訳）: 過去10年間で、人工知能(AI)モデルは、優れたモデリング性能によって推進される生産パイプラインに急速に統合されている。
しかし,これらのモデルの開発は,学習領域外のアウト・オブ・ディストリビューション(OoD)インプットに対して堅牢な動作を保証できないアルゴリズムの進歩と一致していない。
さらに、AIモデルの持続可能性や、トレーニングフェーズと推論フェーズの両方で必要なエネルギー消費に懸念が高まっている。
これらの問題を緩和するために、モデル全体のエネルギー効率を高めるためにスパイキング領域に適応したバックプロパゲーションの生物学的に妥当な代替品であるフォワードフォワードアルゴリズム(FFA)の使用を検討する。
我々は,FFAで訓練されたモデルの潜在空間から高表現性トポロジーを生かして,OoD検出のための新しいFF-SCPアルゴリズムを開発した。
提案手法は, 標本の潜在表現からクラス表現多様体への距離を用いて, 分布内(ID)データに属するサンプルの確率を測定する。
さらに,OoDパイプラインのより深い洞察を得るために,任意のクラスの分布から分離するサンプルの特徴を強調表示する勾配のない属性手法を提案する。
スパイクFFA適応を用いた複数の実験により、達成された精度は、バックプロパゲーションによって訓練されたアナログネットワークで見られるものと同等であることが示された。
さらに、複数のデータセット上でのOoD検出実験により、FF-SCPは、この領域で使用されるいくつかの指標で、スパイキング領域内のアバンギャルドOoD検出器より優れていることが証明された。
また,本手法が組込みアーティファクトや欠落領域などのOoD特徴を検出する精度を明らかにすることによって,説明可能性に関する定性的な分析を行う。
関連論文リスト
- Diffusion-based Layer-wise Semantic Reconstruction for Unsupervised Out-of-Distribution Detection [30.02748131967826]
教師なしのアウト・オブ・ディストリビューション(OOD)検出は、未ラベルのIn-Distribution(ID)トレーニングサンプルからのみ学習することで、ドメイン外のデータを識別することを目的としている。
現在の再構成手法は, 画素/機能空間における入力と対応する生成物間の再構成誤差を測定することで, 優れた代替手法を提供する。
拡散に基づく階層的意味再構成手法を提案する。
論文 参考訳（メタデータ） (2024-11-16T04:54:07Z) - Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - Test-Time Domain Generalization for Face Anti-Spoofing [60.94384914275116]
Face Anti-Spoofing (FAS) は、顔認識システムをプレゼンテーション攻撃から保護するために重要である。
本稿では,テストデータを活用してモデルの一般化性を高める新しいテスト時間領域一般化フレームワークについて紹介する。
テスト時間スタイル投影 (TTSP) とディバーススタイルシフトシミュレーション (DSSS) によって構成された本手法は, 目に見えないデータを領域空間に効果的に投影する。
論文 参考訳（メタデータ） (2024-03-28T11:50:23Z) - Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。
近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。
本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
論文 参考訳（メタデータ） (2023-12-18T09:52:14Z) - SEE-OoD: Supervised Exploration For Enhanced Out-of-Distribution
Detection [11.05254400092658]
我々は,OoD検出精度を高めるために,ワッサースタインスコアを用いた生成逆学習手法を提案する。
具体的には、このジェネレータはOoD空間を探索し、識別器からのフィードバックを用いて合成OoDサンプルを生成する。
提案手法は,様々なコンピュータビジョンデータセットにおける最先端技術よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-12T05:20:18Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Unsupervised Domain Adaptive Salient Object Detection Through
Uncertainty-Aware Pseudo-Label Learning [104.00026716576546]
そこで本研究では,手動のアノテーションを使わずに,自然に高いピクセルラベル品質を有する合成・クリーンなラベルから,サリエンスを学習することを提案する。
提案手法は,複数のベンチマークデータセット上で,既存の最先端の深層教師なしSOD法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-26T16:03:55Z) - Improving Variational Autoencoder based Out-of-Distribution Detection
for Embedded Real-time Applications [2.9327503320877457]
アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。
本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。
提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。
また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
論文 参考訳（メタデータ） (2021-07-25T07:52:53Z) - Entropy Maximization and Meta Classification for Out-Of-Distribution
Detection in Semantic Segmentation [7.305019142196585]
自動運転など多くのアプリケーションにおいて,OoD(Out-of-Distribution)サンプルが不可欠である。
OoD検出の自然なベースラインアプローチは、ピクセル回りのソフトマックスエントロピーのしきい値です。
そのアプローチを大幅に改善する2段階の手順を提案する。
論文 参考訳（メタデータ） (2020-12-09T11:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。