論文の概要: Extending Straight-Through Estimation for Robust Neural Networks on Analog CIM Hardware

• arxiv url: http://arxiv.org/abs/2508.11940v1
• Date: Sat, 16 Aug 2025 06:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.468967
• Title: Extending Straight-Through Estimation for Robust Neural Networks on Analog CIM Hardware
• Title（参考訳）: アナログCIMハードウェアを用いたロバストニューラルネットワークのストレートトラフ推定
• Authors: Yuannuo Feng, Wenyong Zhou, Yuexi Lyu, Yixiang Zhang, Zhengwu Liu, Ngai Wong, Wang Kang,
• Abstract要約: 本稿では,アナログ・コンピュート・イン・メモリ(CIM)システムのためのノイズアウェア・トレーニング手法を提案する。 我々は、後方勾配計算から前方雑音シミュレーションを分離し、より正確だが計算上は難解なノイズモデリングによる雑音認識訓練を可能にする。 本フレームワークは,画像分類の精度を最大5.3%向上し,テキスト生成における0.72パープレキシティ低減を実現し,トレーニング時間の2.2$times$ Speedupを実現し,ピークメモリ使用率を37.9%削減した。
• 参考スコア（独自算出の注目度）: 5.100973962435092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analog Compute-In-Memory (CIM) architectures promise significant energy efficiency gains for neural network inference, but suffer from complex hardware-induced noise that poses major challenges for deployment. While noise-aware training methods have been proposed to address this issue, they typically rely on idealized and differentiable noise models that fail to capture the full complexity of analog CIM hardware variations. Motivated by the Straight-Through Estimator (STE) framework in quantization, we decouple forward noise simulation from backward gradient computation, enabling noise-aware training with more accurate but computationally intractable noise modeling in analog CIM systems. We provide theoretical analysis demonstrating that our approach preserves essential gradient directional information while maintaining computational tractability and optimization stability. Extensive experiments show that our extended STE framework achieves up to 5.3% accuracy improvement on image classification, 0.72 perplexity reduction on text generation, 2.2$\times$ speedup in training time, and 37.9% lower peak memory usage compared to standard noise-aware training methods.
• Abstract（参考訳）: アナログ・コンピュート・イン・メモリ(CIM)アーキテクチャは、ニューラルネットワークの推論において大幅なエネルギー効率の向上を約束するが、デプロイメントにおいて大きな課題となる複雑なハードウェアによるノイズに悩まされる。 この問題に対処するために、ノイズ対応トレーニング法が提案されているが、それらは典型的には、アナログCIMハードウェアのバリエーションの完全な複雑さを捉えるのに失敗する、理想化された、微分可能なノイズモデルに依存している。 量子化におけるSTE(Straight-Through Estimator)フレームワークにより、後方勾配計算からフォワードノイズシミュレーションを分離し、アナログCIMシステムにおいてより正確だが計算に難渋するノイズモデリングによる雑音認識訓練を可能にする。 本稿では,計算的トラクタビリティと最適化安定性を維持しながら,本手法が本質的な勾配方向情報を保持することを示す理論的解析を行う。 拡張STEフレームワークは,画像分類の精度を最大5.3%向上し,テキスト生成における0.72パープレキシティ低減を実現し,トレーニング時間の2.2$\times$スピードアップを実現した。

関連論文リスト

• Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
  テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。 本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。 拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
  論文  参考訳（メタデータ） (2025-08-13T17:33:37Z)
• Handling Label Noise via Instance-Level Difficulty Modeling and Dynamic Optimization [33.13911801301048]
  ディープニューラルネットワークは、ノイズの多い監視の下で一般化性能が低下する。 既存のメソッドでは、クリーンなサブセットの分離やノイズのあるラベルの修正に重点を置いている。 本稿では,インスタンスレベルの最適化が可能な新しい2段階雑音学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T19:12:58Z)
• Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators [4.416800723562206]
  我々は、アナログニューラルネットワークの精度に基づいて、プロセス誘起および老化に関連するアナログコンピューティングコンポーネントのバリエーションをモデル化する。 事前学習モデルの選択した層間に挿入された遮音ブロックを導入する。 雑音レベルに対するモデルのロバスト性を大幅に向上させることを実証した。
  論文  参考訳（メタデータ） (2024-09-27T08:45:55Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Taming 3DGS: High-Quality Radiance Fields with Limited Resources [50.92437599516609]
  3D Gaussian Splatting (3DGS)は、高速で解釈可能で高忠実なレンダリングで新規ビュー合成を変換した。 予算で3DGSモデルをトレーニングし、レンダリングするという課題に取り組みます。 我々は、勾配計算と属性更新のための高速で数値的に等価な解を導出する。
  論文  参考訳（メタデータ） (2024-06-21T20:44:23Z)
• Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware [2.610470075814367]
  本稿では,モデル内のノイズに敏感な層を識別し,その情報を用いて特定の層を凍結してノイズ注入訓練を行う感性認識ファインタニング手法を提案する。 その結果,SAFTはノイズ注入訓練と同等の精度で,2倍から8倍高速であることがわかった。
  論文  参考訳（メタデータ） (2023-06-05T17:52:44Z)
• NoisyMix: Boosting Robustness by Combining Data Augmentations, Stability Training, and Noise Injections [46.745755900939216]
  モデルロバスト性とドメイン内精度の両方を改善するために,データ拡張と安定性トレーニングとノイズ注入を組み合わせたトレーニングスキームであるNoisyMixを導入する。 我々は、ImageNet-C、ImageNet-R、ImageNet-Pなど、さまざまなベンチマークデータセットに対して、NoisyMixの利点を実証する。
  論文  参考訳（メタデータ） (2022-02-02T19:53:35Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。