論文の概要: Designing DNNs for a trade-off between robustness and processing performance in embedded devices

• arxiv url: http://arxiv.org/abs/2412.03682v1
• Date: Wed, 04 Dec 2024 19:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:48.836083
• Title: Designing DNNs for a trade-off between robustness and processing performance in embedded devices
• Title（参考訳）: 組込みデバイスにおけるロバスト性と処理性能のトレードオフを考慮したDNNの設計
• Authors: Jon Gutiérrez-Zaballa, Koldo Basterretxea, Javier Echanobe,
• Abstract要約: 機械学習ベースの組み込みシステムは、ソフトエラーに対して堅牢である必要がある。 本稿では,摂動に対するモデルロバスト性を改善するために有界AFを用いた場合の適合性について検討する。 自律運転におけるシーン理解のためのハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルの解析を行う。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License:
• Abstract: Machine learning-based embedded systems employed in safety-critical applications such as aerospace and autonomous driving need to be robust against perturbations produced by soft errors. Soft errors are an increasing concern in modern digital processors since smaller transistor geometries and lower voltages give electronic devices a higher sensitivity to background radiation. The resilience of deep neural network (DNN) models to perturbations in their parameters is determined, to a large extent, by the structure of the model itself, and also by the selected numerical representation and used arithmetic precision. When compression techniques such as model pruning and model quantization are applied to reduce memory footprint and computational complexity for deployment, both model structure and numerical representation are modified and thus, soft error robustness also changes. In this sense, although the choice of activation functions (AFs) in DNN models is frequently ignored, it conditions not only their accuracy and trainability, but also compressibility rates and numerical robustness. This paper investigates the suitability of using bounded AFs to improve model robustness against DNN parameter perturbations, assessing at the same time the impact of this choice on deployment in terms of model accuracy, compressibility, and computational burden. In particular, we analyze encoder-decoder fully convolutional models aimed at performing semantic segmentation tasks on hyperspectral images for scene understanding in autonomous driving. Deployment characterization is performed experimentally on an AMD-Xilinx's KV260 SoM.
• Abstract（参考訳）: エアロスペースや自律走行のような安全クリティカルなアプリケーションに使用される機械学習ベースの組み込みシステムは、ソフトエラーによって生じる摂動に対して堅牢である必要がある。 ソフトエラーは、小型のトランジスタジオメトリと低電圧が電子デバイスに背景放射に対する感度を高めるため、現代のデジタルプロセッサではますます懸念される。 パラメータの摂動に対するディープニューラルネットワーク(DNN)モデルのレジリエンスは、モデル自体の構造や、選択された数値表現や演算精度によって大きく決定される。 モデルプルーニングやモデル量子化といった圧縮技術を適用してメモリフットプリントと展開の計算複雑性を低減すると、モデル構造と数値表現の両方が変更され、ソフトエラーの堅牢性も変化する。 この意味では、DNNモデルにおけるアクティベーション関数(AF)の選択は、しばしば無視されるが、その正確性や訓練性だけでなく、圧縮率や数値的堅牢性も条件にしている。 本稿では,DNNパラメータ摂動に対するモデルロバスト性向上のための有界AFを用いて,モデル精度,圧縮性,計算負荷の観点から,この選択が展開に与える影響を同時に評価する。 特に,ハイパースペクトル画像のセマンティックセグメンテーションタスクの実行を目的としたエンコーダ・デコーダの完全畳み込みモデルを分析し,自律運転におけるシーン理解を実現する。 AMD-XilinxのKV260 SoM上で展開特性を実験的に行う。

関連論文リスト

• Reduced Order Modeling with Shallow Recurrent Decoder Networks [5.686433280542813]
  SHRED-ROMは、数値的に不安定な逆近似を符号化する堅牢な復号のみの戦略である。 SHRED-ROMは、固定センサや移動センサの限られた値から、新しいパラメータ値の状態を正確に再構成する。
  論文  参考訳（メタデータ） (2025-02-15T23:41:31Z)
• Neural Network Modeling of Microstructure Complexity Using Digital Libraries [1.03590082373586]
  本研究では, 人工・スパイクニューラルネットワークの性能評価を行い, 疲労き裂進展とチューリングパターンの発達を予測した。 我々の評価では、漏れた統合・火災ニューロンモデルの方が、少ないパラメータと少ないメモリ使用量で予測精度が優れていることが示唆されている。
  論文  参考訳（メタデータ） (2025-01-30T07:44:21Z)
• Evaluating Single Event Upsets in Deep Neural Networks for Semantic Segmentation: an embedded system perspective [1.474723404975345]
  本稿では,組み込みディープニューラルネットワーク(DNN)のロバスト性評価について述べる。 本研究は,様々なエンコーダデコーダモデルの層間およびビット間感度をソフトエラーに精査することにより,セグメント化DNNのSEUに対する脆弱性を徹底的に調査する。 本稿では,資源制約によるデプロイメントに適したメモリや計算コストを伴わない,実用的な軽量なエラー軽減手法を提案する。
  論文  参考訳（メタデータ） (2024-12-04T18:28:38Z)
• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A data-driven peridynamic continuum model for upscaling molecular dynamics [3.1196544696082613]
  分子動力学データから最適線形ペリダイナミックソリッドモデルを抽出する学習フレームワークを提案する。 我々は,符号変化の影響関数を持つ離散化LPSモデルに対して,十分な適切な正当性条件を提供する。 このフレームワークは、結果のモデルが数学的に適切であり、物理的に一貫したものであり、トレーニング中に使用するものと異なる設定によく当てはまることを保証します。
  論文  参考訳（メタデータ） (2021-08-04T07:07:47Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。