論文の概要: On Hardening DNNs against Noisy Computations

• arxiv url: http://arxiv.org/abs/2501.14531v1
• Date: Fri, 24 Jan 2025 14:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:22.728609
• Title: On Hardening DNNs against Noisy Computations
• Title（参考訳）: 雑音計算に対するDNNの強化について
• Authors: Xiao Wang, Hendrik Borras, Bernhard Klein, Holger Fröning,
• Abstract要約: 本研究では,雑音に対するロバスト性を高めるために,量子化を用いたニューラルネットワークのトレーニングの有効性について検討する。 我々は,これらの手法を,推論中に発生する雑音を模倣するトレーニング中にノイズ注入を組み込んだノイズ訓練と比較した。
• 参考スコア（独自算出の注目度）: 5.975221928631025
• License:
• Abstract: The success of deep learning has sparked significant interest in designing computer hardware optimized for the high computational demands of neural network inference. As further miniaturization of digital CMOS processors becomes increasingly challenging, alternative computing paradigms, such as analog computing, are gaining consideration. Particularly for compute-intensive tasks such as matrix multiplication, analog computing presents a promising alternative due to its potential for significantly higher energy efficiency compared to conventional digital technology. However, analog computations are inherently noisy, which makes it challenging to maintain high accuracy on deep neural networks. This work investigates the effectiveness of training neural networks with quantization to increase the robustness against noise. Experimental results across various network architectures show that quantization-aware training with constant scaling factors enhances robustness. We compare these methods with noisy training, which incorporates a noise injection during training that mimics the noise encountered during inference. While both two methods increase tolerance against noise, noisy training emerges as the superior approach for achieving robust neural network performance, especially in complex neural architectures.
• Abstract（参考訳）: ディープラーニングの成功は、ニューラルネットワーク推論の高度な計算要求に最適化されたコンピュータハードウェアの設計に大きな関心を呼んだ。 デジタルCMOSプロセッサのさらなる小型化がますます難しくなり、アナログコンピューティングなどの代替コンピューティングパラダイムが検討されている。 特に行列乗算のような計算集約的なタスクでは、アナログ計算は従来のデジタル技術に比べてエネルギー効率が著しく高い可能性から、有望な代替手段となる。 しかし、アナログ計算は本質的にノイズが多いため、ディープニューラルネットワーク上で高い精度を維持することは困難である。 本研究では,雑音に対するロバスト性を高めるために,量子化を用いたニューラルネットワークのトレーニングの有効性について検討する。 様々なネットワークアーキテクチャにおける実験結果から、一定のスケーリング要因による量子化対応トレーニングがロバスト性を高めることが示されている。 我々は,これらの手法を,推論中に発生する雑音を模倣するトレーニング中にノイズ注入を組み込んだノイズ訓練と比較した。 どちらの手法もノイズに対する耐性を高めるが、特に複雑なニューラルネットワークアーキテクチャにおいて、堅牢なニューラルネットワーク性能を達成するための優れたアプローチとしてノイズの多いトレーニングが出現する。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Learning Provably Robust Estimators for Inverse Problems via Jittering [51.467236126126366]
  簡単な正規化手法であるジッタリングが,逆問題に対する最悪ケース頑健な推定器の学習に有効かどうかを検討する。 ジッタリングは最悪の場合のロバスト性を大幅に向上させるが,デノイング以上の逆問題に最適であることを示す。
  論文  参考訳（メタデータ） (2023-07-24T14:19:36Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Robustness of quantum reinforcement learning under hardware errors [0.0]
  変分量子機械学習アルゴリズムは、機械学習タスクに短期量子デバイスをどのように利用するかに関する最近の研究の焦点となっている。 これらは、動作している回路をデバイスに合わせることができ、計算の大部分を古典に委譲できるため、これに適していると考えられている。 しかし、ハードウェアによるノイズの影響下での量子機械学習モデルのトレーニングの効果は、まだ広く研究されていない。
  論文  参考訳（メタデータ） (2022-12-19T13:14:22Z)
• Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
  本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。 この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2022-04-18T21:45:13Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Boolean learning under noise-perturbations in hardware neural networks [0.0]
  ノイズは収束中にシステムの経路を強く変更し,最終的な読み出し重量行列を驚くほど完全にデコレーションすることがわかった。 これは、相互作用するプレイヤーとしてのアーキテクチャ、ノイズ、学習アルゴリズムを理解することの重要性を強調している。
  論文  参考訳（メタデータ） (2020-03-27T10:36:03Z)
• Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation [12.30062870698165]
  ノイズの多いニューラルネットワークが、入力と出力の相互情報を失うことによって、学習能力を減らしたことを示す。 そこで本研究では,学習中に知識蒸留とノイズ注入を併用して,より高ノイズロバストなネットワークを実現することを提案する。 提案手法は,従来の最良試行の2倍の耐雑音性を有するモデルを実現する。
  論文  参考訳（メタデータ） (2020-01-14T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。