論文の概要: Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection

• arxiv url: http://arxiv.org/abs/2504.05119v1
• Date: Mon, 07 Apr 2025 14:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 15:52:08.512847
• Title: Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection
• Title（参考訳）: 活性化関数選択による埋め込みDNNのロバスト性と効率のバランス
• Authors: Jon Gutiérrez Zaballa, Koldo Basterretxea, Javier Echanobe,
• Abstract要約: 安全クリティカルなアプリケーションのための機械学習ベースの組み込みシステムは、ソフトエラーによる摂動に対して堅牢でなければならない。 ハイパースペクトル画像のセマンティックセグメンテーションのために開発されたエンコーダ・デコーダ畳み込みモデルと自律運転システムへの応用に焦点を当てた。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning-based embedded systems for safety-critical applications, such as aerospace and autonomous driving, must be robust to perturbations caused by soft errors. As transistor geometries shrink and voltages decrease, modern electronic devices become more susceptible to background radiation, increasing the concern about failures produced by soft errors. The resilience of deep neural networks (DNNs) to these errors depends not only on target device technology but also on model structure and the numerical representation and arithmetic precision of their parameters. Compression techniques like pruning and quantization, used to reduce memory footprint and computational complexity, alter both model structure and representation, affecting soft error robustness. In this regard, although often overlooked, the choice of activation functions (AFs) impacts not only accuracy and trainability but also compressibility and error resilience. This paper explores the use of bounded AFs to enhance robustness against parameter perturbations, while evaluating their effects on model accuracy, compressibility, and computational load with a technology-agnostic approach. We focus on encoder-decoder convolutional models developed for semantic segmentation of hyperspectral images with application to autonomous driving systems. Experiments are conducted on an AMD-Xilinx's KV260 SoM.
• Abstract（参考訳）: 空域や自律運転のような安全クリティカルなアプリケーションのための機械学習ベースの組み込みシステムは、ソフトエラーによって引き起こされる摂動に対して堅牢でなければならない。 トランジスタのジオメトリが小さくなり電圧が低下するにつれて、現代の電子機器は背景放射の影響を受けやすくなり、ソフトエラーによる故障に対する懸念が高まる。 これらのエラーに対するディープニューラルネットワーク(DNN)のレジリエンスは、対象とするデバイス技術だけでなく、モデル構造やパラメータの数値表現と算術精度にも依存する。 プルーニングや量子化のような圧縮技術は、メモリフットプリントと計算の複雑さを減らし、モデル構造と表現の両方を変え、ソフトエラーの堅牢性に影響を与える。 この点において、しばしば見過ごされるが、アクティベーション関数(AF)の選択は、精度と訓練性だけでなく、圧縮性とエラーの回復性にも影響を及ぼす。 本稿では, モデル精度, 圧縮性, 計算負荷に対する影響を技術に依存しないアプローチで評価しながら, パラメータ摂動に対する堅牢性を高めるための有界AFの利用について検討する。 ハイパースペクトル画像のセマンティックセグメンテーションのために開発されたエンコーダ・デコーダ畳み込みモデルと自律運転システムへの応用に焦点を当てた。 AMD-XilinxのKV260 SoMで実験が行われた。

関連論文リスト

• Designing DNNs for a trade-off between robustness and processing performance in embedded devices [1.474723404975345]
  機械学習ベースの組み込みシステムは、ソフトエラーに対して堅牢である必要がある。 本稿では,摂動に対するモデルロバスト性を改善するために有界AFを用いた場合の適合性について検討する。 自律運転におけるシーン理解のためのハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルの解析を行う。
  論文  参考訳（メタデータ） (2024-12-04T19:34:33Z)
• Evaluating Single Event Upsets in Deep Neural Networks for Semantic Segmentation: an embedded system perspective [1.474723404975345]
  本稿では,組み込みディープニューラルネットワーク(DNN)のロバスト性評価について述べる。 本研究は,様々なエンコーダデコーダモデルの層間およびビット間感度をソフトエラーに精査することにより,セグメント化DNNのSEUに対する脆弱性を徹底的に調査する。 本稿では,資源制約によるデプロイメントに適したメモリや計算コストを伴わない,実用的な軽量なエラー軽減手法を提案する。
  論文  参考訳（メタデータ） (2024-12-04T18:28:38Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection [0.07892577704654172]
  ハードウェア,エネルギ,計算資源の制限により,リアルタイムに学習可能なエッジデバイスにオートエンコーダを実装することは困難であることを示す。 自己エンコーダのシナプスとして磁区壁(DW)をホストするノッチを用いた強磁性競馬場を提案する。 我々のDWベースのアプローチは、浮動小数点法と比較して、トレーニング中の重量更新の少なくとも3桁の顕著な減少を示す。
  論文  参考訳（メタデータ） (2023-09-12T02:29:09Z)
• ApproxABFT: Approximate Algorithm-Based Fault Tolerance for Neural Network Processing [7.578258600530223]
  本稿では,計算誤差が大きい場合にのみエラー回復を開始するApproxABFTを提案する。 このアプローチでは、不要なリカバリ手順を回避し、エラーリカバリプロセスを合理化し、影響のあるエラーの修正に重点を置いている。 実験の結果、ApproxABFTは計算オーバーヘッドを67.83%削減し、許容ビットエラー率を平均で桁違いに改善した。
  論文  参考訳（メタデータ） (2023-02-21T06:21:28Z)
• AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios [51.94807626839365]
  限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Physics-informed machine learning with differentiable programming for heterogeneous underground reservoir pressure management [64.17887333976593]
  地下貯水池の過圧化を避けることは、CO2の沈殿や排水の注入といった用途に欠かせない。 地中における複雑な不均一性のため, 噴射・抽出制御による圧力管理は困難である。 過圧化防止のための流体抽出速度を決定するために、フル物理モデルと機械学習を用いた微分可能プログラミングを用いる。
  論文  参考訳（メタデータ） (2022-06-21T20:38:13Z)
• A Robust Backpropagation-Free Framework for Images [47.97322346441165]
  画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。 EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。 結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
  論文  参考訳（メタデータ） (2022-06-03T21:14:10Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search [25.841113960607334]
  新興デバイスベースのコンピューティングインメモリ(CiM)は、高エネルギー効率ディープニューラルネットワーク(DNN)計算において有望な候補であることが証明されている。 ほとんどの新興デバイスは不確実な問題に悩まされており、結果として、保存される実際のデータと、それが設計される重み付け値との違いが生じる。 これにより、トレーニングされたモデルから実際にデプロイされたプラットフォームへの精度低下につながる。
  論文  参考訳（メタデータ） (2021-07-06T23:29:36Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。