論文の概要: Cross-Layer Optimization for Fault-Tolerant Deep Learning

• arxiv url: http://arxiv.org/abs/2312.13754v1
• Date: Thu, 21 Dec 2023 11:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:20:59.710009
• Title: Cross-Layer Optimization for Fault-Tolerant Deep Learning
• Title（参考訳）: フォールトトレラント深層学習のための層間最適化
• Authors: Qing Zhang, Cheng Liu, Bo Liu, Haitong Huang, Ying Wang, Huawei Li, Xiaowei Li
• Abstract要約: 本稿では、各ニューロンとビット間の深層学習の脆弱性差を特徴付けるとともに、その脆弱性差を利用してディープラーニング処理コンポーネントの選択的保護を実現することを提案する。 我々は,アルゴリズム層,アーキテクチャ層,回路層において相関する層間設計パラメータを協調最適化するためにベイズ最適化手法を用いる。
• 参考スコア（独自算出の注目度）: 17.724727744611535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fault-tolerant deep learning accelerator is the basis for highly reliable deep learning processing and critical to deploy deep learning in safety-critical applications such as avionics and robotics. Since deep learning is known to be computing- and memory-intensive, traditional fault-tolerant approaches based on redundant computing will incur substantial overhead including power consumption and chip area. To this end, we propose to characterize deep learning vulnerability difference across both neurons and bits of each neuron, and leverage the vulnerability difference to enable selective protection of the deep learning processing components from the perspective of architecture layer and circuit layer respectively. At the same time, we observe the correlation between model quantization and bit protection overhead of the underlying processing elements of deep learning accelerators, and propose to reduce the bit protection overhead by adding additional quantization constrain without compromising the model accuracy. Finally, we employ Bayesian optimization strategy to co-optimize the correlated cross-layer design parameters at algorithm layer, architecture layer, and circuit layer to minimize the hardware resource consumption while fulfilling multiple user constraints including reliability, accuracy, and performance of the deep learning processing at the same time.
• Abstract（参考訳）: フォールトトレラントなディープラーニングアクセラレータは、高信頼性なディープラーニング処理の基礎であり、avionicsやroboticsといった安全クリティカルなアプリケーションでディープラーニングを展開する上で極めて重要である。 ディープラーニングはコンピューティングとメモリ集約であることが知られているため、冗長コンピューティングに基づく従来のフォールトトレラントアプローチは、消費電力やチップ領域を含むかなりのオーバーヘッドを引き起こす。 そこで本研究では,各ニューロンのニューロンとビット間での深層学習の脆弱性差を特徴付けるとともに,その脆弱性差を利用して,アーキテクチャ層と回路層の観点から,深部学習処理コンポーネントを選択的に保護することを提案する。 同時に、ディープラーニングアクセラレータの基盤となる処理要素のビット保護オーバーヘッドとモデル量子化の相関を観察し、モデルの精度を損なうことなく追加の量子化制約を加えることによりビット保護オーバーヘッドを低減することを提案する。 最後に,ベイジアン最適化手法を用いて,アルゴリズム層,アーキテクチャ層,回路層において相関する設計パラメータを協調的に最適化し,ハードウェア資源の消費を最小化し,信頼性,精度,深層学習処理の性能など複数の制約を満たす。

関連論文リスト

• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
  本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
  論文  参考訳（メタデータ） (2021-09-27T17:11:25Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints [93.4221402881609]
  量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
  論文  参考訳（メタデータ） (2020-11-30T07:12:26Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。