Fugu-MT 論文翻訳(概要): Functional Error Correction for Robust Neural Networks

論文の概要: Functional Error Correction for Robust Neural Networks

arxiv url: http://arxiv.org/abs/2001.03814v1
Date: Sun, 12 Jan 2020 00:40:49 GMT
ステータス: 処理完了
システム内更新日: 2023-01-12 05:08:48.545426
Title: Functional Error Correction for Robust Neural Networks
Title（参考訳）: ロバストニューラルネットワークの関数誤差補正
Authors: Kunping Huang, Paul Siegel, Anxiao (Andrew) Jiang
Abstract要約: ニューラルネットワーク(NeuralNets)をハードウェアで実装する場合、その重みをメモリデバイスに格納する必要がある。格納された重みにノイズが蓄積されると、NeuralNetのパフォーマンスは低下する。本稿では,重みを保護するために誤り訂正符号(ECC)の使い方について検討する。
参考スコア（独自算出の注目度）: 0.6445605125467572
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: When neural networks (NeuralNets) are implemented in hardware, their weights need to be stored in memory devices. As noise accumulates in the stored weights, the NeuralNet's performance will degrade. This paper studies how to use error correcting codes (ECCs) to protect the weights. Different from classic error correction in data storage, the optimization objective is to optimize the NeuralNet's performance after error correction, instead of minimizing the Uncorrectable Bit Error Rate in the protected bits. That is, by seeing the NeuralNet as a function of its input, the error correction scheme is function-oriented. A main challenge is that a deep NeuralNet often has millions to hundreds of millions of weights, causing a large redundancy overhead for ECCs, and the relationship between the weights and its NeuralNet's performance can be highly complex. To address the challenge, we propose a Selective Protection (SP) scheme, which chooses only a subset of important bits for ECC protection. To find such bits and achieve an optimized tradeoff between ECC's redundancy and NeuralNet's performance, we present an algorithm based on deep reinforcement learning. Experimental results verify that compared to the natural baseline scheme, the proposed algorithm achieves substantially better performance for the functional error correction task.
Abstract（参考訳）: ニューラルネットワーク(NeuralNets)をハードウェアで実装する場合、その重みをメモリデバイスに格納する必要がある。格納された重みにノイズが蓄積されると、NeuralNetのパフォーマンスは低下する。本稿では,重みを保護するために誤り訂正符号(ECC)の使い方について検討する。データストレージにおける古典的な誤り訂正とは異なり、最適化の目的は、保護されたビットの誤り率を最小化するのではなく、エラー修正後のNeuralNetのパフォーマンスを最適化することである。すなわち、ニューラルネットワークを入力の関数として見ることにより、エラー訂正スキームは関数指向である。最大の課題は、ディープニューラルネットワークは、しばしば数百万から数億の重量を持ち、ECCの大きな冗長性オーバーヘッドを引き起こし、重みとNeuralNetのパフォーマンスの関係は非常に複雑であることだ。そこで本研究では,ECC保護のための重要なビットのサブセットのみを選択するSelective Protection (SP)方式を提案する。このようなビットを探し出し、ECCの冗長性とNeuralNetの性能のトレードオフを最適化するために、深層強化学習に基づくアルゴリズムを提案する。実験の結果,本アルゴリズムは,本手法と比較して,機能的誤り訂正タスクの性能が大幅に向上することを確認した。

関連論文リスト

Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。 QUBO緩和による損失関数の最小化による教師なし学習に依存している。実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文参考訳（メタデータ） (2024-07-23T13:34:35Z)
ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency [0.0]
我々はReActXGBというハイブリッドモデルを提案し、ReActNet-Aの完全な畳み込み層をXGBoostに置き換える。この修正の目的は、より低い計算コストを維持しながら、BCNNと実数値ネットワークのパフォーマンスギャップを狭めることである。
論文参考訳（メタデータ） (2024-05-11T16:38:50Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文参考訳（メタデータ） (2022-12-25T15:40:05Z)
CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文参考訳（メタデータ） (2022-11-27T19:13:33Z)
Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文参考訳（メタデータ） (2022-07-08T18:17:06Z)
RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging [36.027765880474526]
Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
論文参考訳（メタデータ） (2021-09-30T09:31:11Z)
AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文参考訳（メタデータ） (2020-07-14T09:07:29Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)
Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文参考訳（メタデータ） (2020-02-21T17:35:50Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。