論文の概要: Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations

• arxiv url: http://arxiv.org/abs/2503.16183v1
• Date: Thu, 20 Mar 2025 14:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:45.769620
• Title: Variance-Aware Noisy Training: Hardening DNNs against Unstable Analog Computations
• Title（参考訳）: 変数認識ノイズトレーニング:不安定なアナログ計算に対するDNNの強化
• Authors: Xiao Wang, Hendrik Borras, Bernhard Klein, Holger Fröning,
• Abstract要約: 雑音訓練は強靭性を高める最も効果的な手法の1つだが、実環境では性能が低下する。 本稿では,推論中に発生する騒音条件をエミュレートするノイズスケジュールを取り入れた新しい手法として,分散認識ノイズ訓練を提案する。 従来の雑音訓練では72.3%、CIFAR-10では97.3%、Tiny ImageNetでは38.5%から89.9%と、ロバスト性は著しく向上した。
• 参考スコア（独自算出の注目度）: 5.975221928631025
• License:
• Abstract: The disparity between the computational demands of deep learning and the capabilities of compute hardware is expanding drastically. Although deep learning achieves remarkable performance in countless tasks, its escalating requirements for computational power and energy consumption surpass the sustainable limits of even specialized neural processing units, including the Apple Neural Engine and NVIDIA TensorCores. This challenge is intensified by the slowdown in CMOS scaling. Analog computing presents a promising alternative, offering substantial improvements in energy efficiency by directly manipulating physical quantities such as current, voltage, charge, or photons. However, it is inherently vulnerable to manufacturing variations, nonlinearities, and noise, leading to degraded prediction accuracy. One of the most effective techniques for enhancing robustness, Noisy Training, introduces noise during the training phase to reinforce the model against disturbances encountered during inference. Although highly effective, its performance degrades in real-world environments where noise characteristics fluctuate due to external factors such as temperature variations and temporal drift. This study underscores the necessity of Noisy Training while revealing its fundamental limitations in the presence of dynamic noise. To address these challenges, we propose Variance-Aware Noisy Training, a novel approach that mitigates performance degradation by incorporating noise schedules which emulate the evolving noise conditions encountered during inference. Our method substantially improves model robustness, without training overhead. We demonstrate a significant increase in robustness, from 72.3\% with conventional Noisy Training to 97.3\% with Variance-Aware Noisy Training on CIFAR-10 and from 38.5\% to 89.9\% on Tiny ImageNet.
• Abstract（参考訳）: ディープラーニングの計算要求と計算ハードウェアの能力の相違は、大幅に拡大している。 ディープラーニングは、数え切れないほど多くのタスクで顕著なパフォーマンスを達成するが、計算能力とエネルギー消費のエスカレート要件は、Apple Neural EngineやNVIDIA TensorCoresなど、特別なニューラルネットワークユニットの持続的限界を超えている。 この課題はCMOSスケーリングの減速によって強化されている。 アナログコンピューティングは、電流、電圧、電荷、光子などの物理量を直接操作することで、エネルギー効率を大幅に改善する、有望な代替手段を提供する。 しかし、本質的には製造のバリエーション、非線形性、ノイズに弱いため、予測精度が低下する。 強靭性を高める最も効果的な手法の1つであるノイズトレーニングは、推論中に発生する障害に対するモデル強化のために、トレーニングフェーズ中にノイズを導入する。 性能は高いが、外的要因である温度変動や時間的ドリフトによってノイズ特性が変動する現実世界環境では劣化する。 本研究は,ダイナミックノイズの存在における基本的限界を明らかにしつつ,ノイズ学習の必要性を浮き彫りにするものである。 これらの課題に対処するために,予測時に発生する騒音条件をエミュレートするノイズスケジュールを取り入れた,性能劣化を緩和する新しい手法であるVariance-Aware Noisy Trainingを提案する。 トレーニングのオーバーヘッドを伴わずにモデルロバスト性を大幅に改善する。 従来の雑音訓練では72.3\%、CIFAR-10では97.3\%、Tiny ImageNetでは38.5\%から89.9\%となっている。

関連論文リスト

• HADL Framework for Noise Resilient Long-Term Time Series Forecasting [0.7810572107832383]
  長期の時系列予測は、金融、経済、エネルギーといった分野において重要である。 拡張されたルックバックウィンドウにおける時間ノイズの影響は未調査であり、しばしばモデル性能と計算効率を劣化させる。 本稿では、離散ウェーブレット変換(DWT)と離散コサイン変換(DCT)を統合することで、これらの課題に対処する新しいフレームワークを提案する。 提案手法は,ノイズの多い入力に対する競合堅牢性を示し,計算複雑性を著しく低減し,多様なベンチマークデータセット間での競合性ないし最先端の予測性能を実現する。
  論文  参考訳（メタデータ） (2025-02-14T21:41:42Z)
• Towards Robust Transcription: Exploring Noise Injection Strategies for Training Data Augmentation [55.752737615873464]
  本研究では,SNR(Signal-to-Noise Ratio)レベルにおける白色雑音の影響について検討した。 この研究は、様々な音環境における一貫した性能を維持する転写モデルの開発に向けた予備的な研究として、貴重な洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-10-18T02:31:36Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• High Noise Scheduling is a Must [7.694256285730863]
  一貫性モデルは、画像生成の能力が高く、高度な技術を通じてサンプリングステップを1ステップに進める。 現在の進歩は、一貫性トレーニングのテクニックを一歩前進させ、トレーニングの制限を取り除く。 本研究では, 騒音分布における高騒音レベルと低騒音レベルのバランスについて検討し, 安定性を維持するための騒音分布を提供した。
  論文  参考訳（メタデータ） (2024-04-09T14:44:12Z)
• DOCTOR: Dynamic On-Chip Temporal Variation Remediation Toward Self-Corrected Photonic Tensor Accelerators [5.873308516576125]
  フォトニックテンソル加速器は、非平行な速度とエネルギー効率を提供する。 光学的ニューラル加速器の変動耐性を高めるために、オフチップノイズ認識トレーニングとオンチップトレーニングが提案されている。 DOCTORと呼ばれる軽量な動的オンチップ・フレームワークを提案し、時間的ドリフトノイズに対して適応的かつその場での精度回復を実現する。
  論文  参考訳（メタデータ） (2024-03-05T06:17:13Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• On Dynamic Noise Influence in Differentially Private Learning [102.6791870228147]
  Private Gradient Descent (PGD)は一般的に使用されるプライベート学習フレームワークであり、差分プロトコルに基づいてノイズを発生する。 最近の研究では、emphdynamic privacy schedulesは最終イテレーションで改善できるが、そのようなスケジュールの有効性の理論は限られている。 本稿では,これらの重要な質問に答えるために,動的プライバシスケジュールにおけるノイズの影響を総合的に分析する。
  論文  参考訳（メタデータ） (2021-01-19T02:04:00Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。