論文の概要: Efficient Representation of the Activation Space in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2312.08143v1
- Date: Wed, 13 Dec 2023 13:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 15:26:56.438334
- Title: Efficient Representation of the Activation Space in Deep Neural Networks
- Title（参考訳）: 深部ニューラルネットワークにおける活性化空間の効率的な表現
- Authors: Tanya Akumu, Celia Cintas, Girmaw Abebe Tadesse, Adebayo Oshingbesan,
Skyler Speakman, Edward McFowland III
- Abstract要約: ディープニューラルネットワークにおけるアクティベーションの表現を生成するためのモデルに依存しないフレームワークを提案する。
このフレームワークは、最大4倍のp値計算時間でメモリ使用量を30%削減する。
推測時に生データを永続化しないため、攻撃やプライバシー問題への感受性を低下させる可能性がある。
- 参考スコア（独自算出の注目度）: 5.224743522146324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The representations of the activation space of deep neural networks (DNNs)
are widely utilized for tasks like natural language processing, anomaly
detection and speech recognition. Due to the diverse nature of these tasks and
the large size of DNNs, an efficient and task-independent representation of
activations becomes crucial. Empirical p-values have been used to quantify the
relative strength of an observed node activation compared to activations
created by already-known inputs. Nonetheless, keeping raw data for these
calculations increases memory resource consumption and raises privacy concerns.
To this end, we propose a model-agnostic framework for creating representations
of activations in DNNs using node-specific histograms to compute p-values of
observed activations without retaining already-known inputs. Our proposed
approach demonstrates promising potential when validated with multiple network
architectures across various downstream tasks and compared with the kernel
density estimates and brute-force empirical baselines. In addition, the
framework reduces memory usage by 30% with up to 4 times faster p-value
computing time while maintaining state of-the-art detection power in downstream
tasks such as the detection of adversarial attacks and synthesized content.
Moreover, as we do not persist raw data at inference time, we could potentially
reduce susceptibility to attacks and privacy issues.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の活性化空間の表現は、自然言語処理、異常検出、音声認識といったタスクに広く利用されている。
これらのタスクの多様性とDNNの大規模化により、アクティベーションの効率的かつタスクに依存しない表現が重要となる。
経験的なp-値は、既知の入力によって生成される活性化と比較して観測されたノードの活性化の相対的な強度を定量化するために用いられる。
それでも、これらの計算の生データを保持すれば、メモリリソースの消費が増加し、プライバシーの懸念が高まる。
そこで本研究では,ノード固有ヒストグラムを用いたDNNにおけるアクティベーションの表現を生成するためのモデルに依存しないフレームワークを提案する。
提案手法は,ダウンストリームタスクにまたがる複数のネットワークアーキテクチャを検証し,カーネル密度推定やブルートフォース経験ベースラインと比較し,有望な可能性を示す。
さらに、このフレームワークは、逆攻撃の検出や合成コンテンツなどの下流タスクにおける最先端検出能力を維持しながら、p値計算時間の最大4倍の速度で、メモリ使用量を30%削減する。
さらに、生データを推論時に保持しないため、攻撃やプライバシ問題に対する感受性を低減できる可能性がある。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳（メタデータ） (2023-10-10T09:39:38Z) - Spiking Neural Networks for event-based action recognition: A new task to understand their advantage [1.4348901037145936]
スパイキングニューラルネットワーク(SNN)は、そのユニークな時間的ダイナミクスによって特徴づけられる。
フィードフォワードニューラルネットワークにおいて、スパイキングニューロンが時間的特徴抽出を可能にする方法を示す。
また、繰り返しSNNがLSTMに匹敵する結果が得られることを示す。
論文 参考訳（メタデータ） (2022-09-29T16:22:46Z) - Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern
Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。
文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。
フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。
LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文 参考訳（メタデータ） (2022-05-30T14:30:45Z) - Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian
Approximation of Hidden Features [8.723426955657345]
本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。
我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。
運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
論文 参考訳（メタデータ） (2021-03-05T14:28:42Z) - Deep ConvLSTM with self-attention for human activity decoding using
wearables [0.0]
本稿では,複数のセンサ時系列データの特徴を捉えつつ,重要な時間点を選択するディープニューラルネットワークアーキテクチャを提案する。
提案手法の有効性を,異なるデータサンプリング戦略にまたがって示すとともに,自己認識機構が大幅に改善したことを示す。
提案手法は、複数の身体センサからの人間の活動のより優れた復号化を、長期間にわたって行うことができる。
論文 参考訳（メタデータ） (2020-05-02T04:30:31Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳（メタデータ） (2020-03-23T10:29:14Z) - BiDet: An Efficient Binarized Object Detector [96.19708396510894]
本稿では,効率的な物体検出のためのバイナライズニューラルネットワークのBiDetを提案する。
我々のBiDetは、冗長除去による物体検出にバイナリニューラルネットワークの表現能力を完全に活用している。
我々の手法は、最先端のバイナリニューラルネットワークを大きなマージンで上回る。
論文 参考訳（メタデータ） (2020-03-09T08:16:16Z) - Temporal Pulses Driven Spiking Neural Network for Fast Object
Recognition in Autonomous Driving [65.36115045035903]
スパイキングニューラルネットワーク(SNN)を用いた生時間パルスで直接物体認識問題に対処する手法を提案する。
各種データセットを用いて評価した結果,提案手法は最先端の手法に匹敵する性能を示しながら,優れた時間効率を実現している。
論文 参考訳（メタデータ） (2020-01-24T22:58:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。