Fugu-MT 論文翻訳(概要): First Demonstration of Second-order Training of Deep Neural Networks with In-memory Analog Matrix Computing

論文の概要: First Demonstration of Second-order Training of Deep Neural Networks with In-memory Analog Matrix Computing

arxiv url: http://arxiv.org/abs/2512.05342v1
Date: Fri, 05 Dec 2025 00:52:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-13 22:40:56.856292
Title: First Demonstration of Second-order Training of Deep Neural Networks with In-memory Analog Matrix Computing
Title（参考訳）: In-Memory Analog Matrix Computingを用いたディープニューラルネットワークの2次学習の第一報
Authors: Saitao Zhang, Yubiao Luo, Shiqing Wang, Pushen Zuo, Yongxiang Li, Lunshuai Pan, Zheng Miao, Zhong Sun,
Abstract要約: In-Memory analog matrix computing (AMC) を用いた二階述語の最初の実演を行う。手書き文字分類のための2層畳み込みニューラルネットワーク(CNN)を訓練し,その逆変換を検証する。本システムでは,最新のディジタルプロセッサに比べてスループットが5.88倍向上し,エネルギー効率が6.9倍向上した。
参考スコア（独自算出の注目度）: 7.51466944063829
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Second-order optimization methods, which leverage curvature information, offer faster and more stable convergence than first-order methods such as stochastic gradient descent (SGD) and Adam. However, their practical adoption is hindered by the prohibitively high cost of inverting the second-order information matrix, particularly in large-scale neural network training. Here, we present the first demonstration of a second-order optimizer powered by in-memory analog matrix computing (AMC) using resistive random-access memory (RRAM), which performs matrix inversion (INV) in a single step. We validate the optimizer by training a two-layer convolutional neural network (CNN) for handwritten letter classification, achieving 26% and 61% fewer training epochs than SGD with momentum and Adam, respectively. On a larger task using the same second-order method, our system delivers a 5.88x improvement in throughput and a 6.9x gain in energy efficiency compared to state-of-the-art digital processors. These results demonstrate the feasibility and effectiveness of AMC circuits for second-order neural network training, opening a new path toward energy-efficient AI acceleration.
Abstract（参考訳）: 曲率情報を利用する2階最適化法は、確率勾配降下(SGD)やアダム(Adam)のような一階法よりも高速でより安定した収束を提供する。しかし、彼らの実践的採用は、特に大規模ニューラルネットワークトレーニングにおいて、二階情報行列を反転させるという極めて高いコストによって妨げられている。本稿では,抵抗的ランダムアクセスメモリ (RRAM) を用いたメモリ内アナログ行列計算 (AMC) を利用した2階最適化器のデモンストレーションを行う。我々は,手書き文字分類のための2層畳み込みニューラルネットワーク(CNN)を訓練し,運動量を持つSGDよりも26%,61%少ないトレーニングエポックを実現した。同一の2次法を用いて,本システムでは,最新のディジタルプロセッサに比べてスループットが5.88倍向上し,エネルギー効率が6.9倍向上した。これらの結果は,2次ニューラルネットワークトレーニングにおけるAMC回路の有効性と有効性を示し,エネルギー効率の高いAI加速に向けた新たな道を開いた。

関連論文リスト

Towards Practical Second-Order Optimizers in Deep Learning: Insights from Fisher Information Analysis [0.0]
本稿では、ディープニューラルネットワーク(DNN)のための新しい適応2階チューニングであるAdaFisherを紹介する。 AdaFisherは、改良された収束と2階法の一般化と、訓練に必要な計算効率とのギャップを埋めることを目的としている。我々はAdaFisherが精度と収束速度の両方で最先端の近似より優れていることを示す。
論文参考訳（メタデータ） (2025-04-26T05:02:21Z)
MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。その結果,MARSの実装はAdamより一貫して優れていた。
論文参考訳（メタデータ） (2024-11-15T18:57:39Z)
AdaFisher: Adaptive Second Order Optimization via Fisher Information [22.851200800265914]
第一次最適化法は、現在、深層ニューラルネットワーク(DNN)のトレーニングにおいて主流となっている。Adamのような企業は、トレーニング中に勾配の行列プレコンディショニングを利用することで、限られた曲率情報を取り入れている。広範に使われている2階最適化アルゴリズムは、AdamやSGDのような一階最適化アルゴリズムよりも優れた収束特性を示す。本稿では,適応勾配プレコンディショニングのためのフィッシャー情報行列の角角ブロッククロネッカー近似を利用する適応二階法であるEmphAdaFisherを提案する。
論文参考訳（メタデータ） (2024-05-26T01:25:02Z)
Preconditioners for the Stochastic Training of Neural Fields [28.310850948423813]
我々は、画像再構成、形状モデリング、ニューラルラディアンスフィールド(NeRF)といったタスクにまたがって、曲率対応の対角線前処理器を用いてニューラルネットワークを訓練するための理論的枠組みを提案する。
論文参考訳（メタデータ） (2024-02-13T20:46:37Z)
Eva: A General Vectorized Approximation Framework for Second-order Optimization [16.647611352181574]
メモリ効率と時間効率の2次アルゴリズムであるEvaを2つの新しい手法で提案する。我々はシャーマン・モリソンの公式を使用する逆計算を明示的に行わずに効率的な更新式を導出する。実験によると、Evaは1次SGDと2次アルゴリズムと比較して、エンドツーエンドのトレーニング時間を2.05倍と2.42倍に短縮する。
論文参考訳（メタデータ） (2023-08-04T03:51:38Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Neural Nets with a Newton Conjugate Gradient Method on Multiple GPUs [0.0]
ディープニューラルネットワークのトレーニングは多くの計算センターで計算リソースの共有を消費する。本稿では,ベクトルのみに対するヘシアンの効果を必要とする新しい二階最適化手法を提案する。提案手法を5つの代表的ニューラルネットワーク問題に対して2つの最先端技術と比較した。
論文参考訳（メタデータ） (2022-08-03T12:38:23Z)
FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
論文参考訳（メタデータ） (2022-04-22T21:57:00Z)
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文参考訳（メタデータ） (2020-07-14T18:50:12Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文参考訳（メタデータ） (2020-05-05T08:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。