論文の概要: Gradient Estimation Methods of Approximate Multipliers for High-Accuracy Retraining of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2509.10519v1
• Date: Wed, 03 Sep 2025 16:57:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.777818
• Title: Gradient Estimation Methods of Approximate Multipliers for High-Accuracy Retraining of Deep Learning Models
• Title（参考訳）: ディープラーニングモデルの高精度再学習のための近似乗算器の勾配推定法
• Authors: Chang Meng, Wayne Burleson, Giovanni De Micheli,
• Abstract要約: 本稿では,AppMultsのより正確な勾配を求める2つの方法を提案する。 最初の LUT-2D は2次元ルックアップテーブル (LUT) で AppMult 勾配を特徴づける。 2つ目は LUT-1D と呼ばれ、1次元の LUT に勾配値を格納するコンパクトで効率的な変種である。
• 参考スコア（独自算出の注目度）: 2.639208701052173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate multipliers (AppMults) are widely used in deep learning accelerators to reduce their area, delay, and power consumption. However, AppMults introduce arithmetic errors into deep learning models, necessitating a retraining process to recover accuracy. A key step in retraining is computing the gradient of the AppMult, i.e., the partial derivative of the approximate product with respect to each input operand. Existing approaches typically estimate this gradient using that of the accurate multiplier (AccMult), which can lead to suboptimal retraining results. To address this, we propose two methods to obtain more precise gradients of AppMults. The first, called LUT-2D, characterizes the AppMult gradient with 2-dimensional lookup tables (LUTs), providing fine-grained estimation and achieving the highest retraining accuracy. The second, called LUT-1D, is a compact and more efficient variant that stores gradient values in 1-dimensional LUTs, achieving comparable retraining accuracy with shorter runtime. Experimental results show that on CIFAR-10 with convolutional neural networks, our LUT-2D and LUT-1D methods improve retraining accuracy by 3.83% and 3.72% on average, respectively. On ImageNet with vision transformer models, our LUT-1D method improves retraining accuracy by 23.69% on average, compared to a state-of-the-art retraining framework.
• Abstract（参考訳）: 近似乗算器(AppMults)は、ディープラーニングアクセラレーターにおいて、その面積、遅延、消費電力を減らすために広く使われている。 しかし、AppMultsは深層学習モデルに算術誤差を導入し、精度を回復するために再学習プロセスを必要とする。 再訓練における重要なステップは、AppMultの勾配、すなわち、各入力オペランドに対する近似積の部分微分を計算することである。 既存のアプローチでは、この勾配を精度の高い乗算器(AccMult)を用いて推定し、最適下再学習の結果をもたらす。 そこで本研究では,AppMultsのより正確な勾配を求める2つの手法を提案する。 最初の LUT-2D は AppMult 勾配を2次元ルックアップテーブル (LUTs) で特徴づけ、きめ細かい推定と最高の再トレーニング精度を実現する。 2番目の LUT-1D はコンパクトでより効率的な変種であり、1次元の LUT に勾配値を保存する。 畳み込みニューラルネットワークを用いたCIFAR-10では,LUT-2D法とLUT-1D法では,それぞれ平均3.83%,LUT-1D法では3.72%のトレーニング精度が向上した。 ビジョントランスモデルを用いたImageNetでは,LUT-1D法では,最先端のリトレーニングフレームワークと比較して,平均23.69%のリトレーニング精度が向上している。

関連論文リスト

• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval [0.7646713951724011]
  既存のアプローチは、事前訓練されたモデル自体を微調整するか、より効率的に、事前訓練されたモデルの出力を変換するためにアダプタモデルを訓練する。 NUDGEは、新しい非パラメトリック埋め込みファインチューニングアプローチのファミリーである。 NUDGEは、$k$-NN検索の精度を最大化するために、データレコードの埋め込みを直接修正する。
  論文  参考訳（メタデータ） (2024-09-04T00:10:36Z)
• Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
  本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
  論文  参考訳（メタデータ） (2024-03-06T05:13:28Z)
• DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training [33.11416096294998]
  ゼロオーダー(ZO)最適化は、機械学習(ML)問題を解決する一般的なテクニックとなっている。 ディープニューラルネットワーク(DNN)のトレーニングにおけるZO最適化の有効性を、パフォーマンスを著しく低下させることなく実証した以前の研究はない。 我々は,ZO最適化をDNNトレーニングにスクラッチから拡張可能なZOディープラーニング(DL)フレームワークであるDeepZeroを開発した。
  論文  参考訳（メタデータ） (2023-10-03T13:05:36Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [134.83964935755964]
  ディープラーニングでは、異なる種類のディープネットワークは典型的に異なる補間を必要とし、複数のトライアル後に選択する必要がある。 本稿では,この問題を解消し,モデルトレーニング速度を継続的に改善するために,ADAtive Nesterov運動量変換器を提案する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。