論文の概要: ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs
- arxiv url: http://arxiv.org/abs/2406.06313v1
- Date: Mon, 10 Jun 2024 14:31:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 13:48:15.981014
- Title: ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs
- Title（参考訳）: Proct: DNNのレジリエンスを高めるハイブリッドクラップ活性化関数のプログレッシブトレーニング
- Authors: Seyedhamidreza Mousavi, Mohammad Hasan Ahmadilivani, Jaan Raik, Maksim Jenihhin, Masoud Daneshtalab,
- Abstract要約: State-of-the-artメソッドは、ニューロンワイドまたは層ワイドクリッピングアクティベーション機能を提供する。
層単位で切断されたアクティベーション関数はDNNのレジリエンスを高いビット誤り率で保持することはできない。
本稿では,ニューロンワイド法とレイヤバイ層法を統合したハイブリッドクリップ型アクティベーション関数を提案する。
- 参考スコア（独自算出の注目度）: 0.4660328753262075
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep Neural Networks (DNNs) are extensively employed in safety-critical applications where ensuring hardware reliability is a primary concern. To enhance the reliability of DNNs against hardware faults, activation restriction techniques significantly mitigate the fault effects at the DNN structure level, irrespective of accelerator architectures. State-of-the-art methods offer either neuron-wise or layer-wise clipping activation functions. They attempt to determine optimal clipping thresholds using heuristic and learning-based approaches. Layer-wise clipped activation functions cannot preserve DNNs resilience at high bit error rates. On the other hand, neuron-wise clipping activation functions introduce considerable memory overhead due to the addition of parameters, which increases their vulnerability to faults. Moreover, the heuristic-based optimization approach demands numerous fault injections during the search process, resulting in time-consuming threshold identification. On the other hand, learning-based techniques that train thresholds for entire layers concurrently often yield sub-optimal results. In this work, first, we demonstrate that it is not essential to incorporate neuron-wise activation functions throughout all layers in DNNs. Then, we propose a hybrid clipped activation function that integrates neuron-wise and layer-wise methods that apply neuron-wise clipping only in the last layer of DNNs. Additionally, to attain optimal thresholds in the clipping activation function, we introduce ProAct, a progressive training methodology. This approach iteratively trains the thresholds on a layer-by-layer basis, aiming to obtain optimal threshold values in each layer separately.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ハードウェアの信頼性を保証することが主な関心事である安全クリティカルなアプリケーションに広く採用されている。
ハードウェア故障に対するDNNの信頼性を高めるため、アクティベーション制限技術は、アクティベーションアーキテクチャに関係なく、DNN構造レベルでの障害効果を著しく軽減する。
State-of-the-artメソッドは、ニューロンワイドまたは層ワイドクリッピングアクティベーション機能を提供する。
彼らはヒューリスティックと学習に基づくアプローチを用いて最適なクリッピングしきい値を決定する。
層単位で切断されたアクティベーション関数はDNNのレジリエンスを高いビット誤り率で保持することはできない。
一方、ニューロンワイドクリッピングアクティベーション機能では、パラメータの追加によるメモリオーバーヘッドが大幅に増加し、障害に対する脆弱性が増大する。
さらに、ヒューリスティックに基づく最適化手法は、探索プロセス中に多数の障害注入を必要とし、時間を要するしきい値の同定を行う。
一方、階層全体のしきい値を同時にトレーニングする学習ベースの技術は、しばしば準最適結果をもたらす。
本研究は、まず、DNNのすべての層にニューロンの活性化機能を組み込むことが不可欠ではないことを示す。
そこで本研究では,DNNの最後の層にのみニューロンワイド・クリッピングを適用する階層ワイド・レイヤワイド・メソッドを統合するハイブリッド・クリッピング・アクティベーション機能を提案する。
さらに,クリッピング活性化関数の最適しきい値を達成するために,プログレッシブトレーニング手法であるProActを導入する。
このアプローチは、各層で最適な閾値を個別に取得することを目的として、各層ごとに閾値を反復的にトレーニングする。
関連論文リスト
- ResQuNNs:Towards Enabling Deep Learning in Quantum Convolution Neural Networks [4.348591076994875]
準進化ニューラルネットワーク(QuNN)の性能向上のための,トレーニング可能な準進化層の導入による新しいフレームワークを提案する。
この制限を克服するために、これらのレイヤ内でのトレーニングを可能にし、QuNNの柔軟性とポテンシャルを大幅に向上させました。
本稿では,Residual Quanvolutional Neural Networks (ResQuNNs)を提案する。
論文 参考訳（メタデータ） (2024-02-14T12:55:28Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations [11.707981310045742]
Deep Neural Networks (DNN) のエンドツーエンドトレーニングは、ますます増加するアプリケーションにおいて、技術パフォーマンスの状態を生んでいる。
ここでは、スペーサーとより強力な活性化を伴う摂動に対する有望な神経誘発アプローチについて報告する。
論文 参考訳（メタデータ） (2022-02-26T06:19:05Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - FitAct: Error Resilient Deep Neural Networks via Fine-Grained
Post-Trainable Activation Functions [0.05249805590164901]
ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。
本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
論文 参考訳（メタデータ） (2021-12-27T07:07:50Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z) - Temporal Spike Sequence Learning via Backpropagation for Deep Spiking
Neural Networks [14.992756670960008]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良いイベント駆動ニューロモルフィックプロセッサの計算と実装に適している。
深部SNNを訓練するためのTSSL-BP(Temporal Spike Sequence Learning Backpropagation)法を提案する。
論文 参考訳（メタデータ） (2020-02-24T05:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。