論文の概要: Designing DNNs for a trade-off between robustness and processing performance in embedded devices

• arxiv url: http://arxiv.org/abs/2412.03682v1
• Date: Wed, 04 Dec 2024 19:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:48.836083
• Title: Designing DNNs for a trade-off between robustness and processing performance in embedded devices
• Title（参考訳）: 組込みデバイスにおけるロバスト性と処理性能のトレードオフを考慮したDNNの設計
• Authors: Jon Gutiérrez-Zaballa, Koldo Basterretxea, Javier Echanobe,
• Abstract要約: 機械学習ベースの組み込みシステムは、ソフトエラーに対して堅牢である必要がある。 本稿では,摂動に対するモデルロバスト性を改善するために有界AFを用いた場合の適合性について検討する。 自律運転におけるシーン理解のためのハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルの解析を行う。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License:
• Abstract: Machine learning-based embedded systems employed in safety-critical applications such as aerospace and autonomous driving need to be robust against perturbations produced by soft errors. Soft errors are an increasing concern in modern digital processors since smaller transistor geometries and lower voltages give electronic devices a higher sensitivity to background radiation. The resilience of deep neural network (DNN) models to perturbations in their parameters is determined, to a large extent, by the structure of the model itself, and also by the selected numerical representation and used arithmetic precision. When compression techniques such as model pruning and model quantization are applied to reduce memory footprint and computational complexity for deployment, both model structure and numerical representation are modified and thus, soft error robustness also changes. In this sense, although the choice of activation functions (AFs) in DNN models is frequently ignored, it conditions not only their accuracy and trainability, but also compressibility rates and numerical robustness. This paper investigates the suitability of using bounded AFs to improve model robustness against DNN parameter perturbations, assessing at the same time the impact of this choice on deployment in terms of model accuracy, compressibility, and computational burden. In particular, we analyze encoder-decoder fully convolutional models aimed at performing semantic segmentation tasks on hyperspectral images for scene understanding in autonomous driving. Deployment characterization is performed experimentally on an AMD-Xilinx's KV260 SoM.
• Abstract（参考訳）: エアロスペースや自律走行のような安全クリティカルなアプリケーションに使用される機械学習ベースの組み込みシステムは、ソフトエラーによって生じる摂動に対して堅牢である必要がある。 ソフトエラーは、小型のトランジスタジオメトリと低電圧が電子デバイスに背景放射に対する感度を高めるため、現代のデジタルプロセッサではますます懸念される。 パラメータの摂動に対するディープニューラルネットワーク(DNN)モデルのレジリエンスは、モデル自体の構造や、選択された数値表現や演算精度によって大きく決定される。 モデルプルーニングやモデル量子化といった圧縮技術を適用してメモリフットプリントと展開の計算複雑性を低減すると、モデル構造と数値表現の両方が変更され、ソフトエラーの堅牢性も変化する。 この意味では、DNNモデルにおけるアクティベーション関数(AF)の選択は、しばしば無視されるが、その正確性や訓練性だけでなく、圧縮率や数値的堅牢性も条件にしている。 本稿では,DNNパラメータ摂動に対するモデルロバスト性向上のための有界AFを用いて,モデル精度,圧縮性,計算負荷の観点から,この選択が展開に与える影響を同時に評価する。 特に,ハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルを分析し,自律運転におけるシーン理解を実現する。 AMD-XilinxのKV260 SoM上で展開特性を実験的に行う。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• RAMP-Net: A Robust Adaptive MPC for Quadrotors via Physics-informed Neural Network [6.309365332210523]
  本稿では、単純なODEとデータの一部をトレーニングしたニューラルネットワークを用いて、PINN(RAMP-Net)を介してロバスト適応MPCフレームワークを提案する。 我々は,SOTA回帰に基づく2つのMPC法と比較して,0.5～1.75m/sの追跡誤差を7.8%から43.2%,8.04%から61.5%削減した。
  論文  参考訳（メタデータ） (2022-09-19T16:11:51Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A data-driven peridynamic continuum model for upscaling molecular dynamics [3.1196544696082613]
  分子動力学データから最適線形ペリダイナミックソリッドモデルを抽出する学習フレームワークを提案する。 我々は,符号変化の影響関数を持つ離散化LPSモデルに対して,十分な適切な正当性条件を提供する。 このフレームワークは、結果のモデルが数学的に適切であり、物理的に一貫したものであり、トレーニング中に使用するものと異なる設定によく当てはまることを保証します。
  論文  参考訳（メタデータ） (2021-08-04T07:07:47Z)
• Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search [25.841113960607334]
  新興デバイスベースのコンピューティングインメモリ(CiM)は、高エネルギー効率ディープニューラルネットワーク(DNN)計算において有望な候補であることが証明されている。 ほとんどの新興デバイスは不確実な問題に悩まされており、結果として、保存される実際のデータと、それが設計される重み付け値との違いが生じる。 これにより、トレーニングされたモデルから実際にデプロイされたプラットフォームへの精度低下につながる。
  論文  参考訳（メタデータ） (2021-07-06T23:29:36Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。