論文の概要: Batch Matrix-form Equations and Implementation of Multilayer Perceptrons
- arxiv url: http://arxiv.org/abs/2511.11918v1
- Date: Fri, 14 Nov 2025 22:52:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 14:36:23.394974
- Title: Batch Matrix-form Equations and Implementation of Multilayer Perceptrons
- Title（参考訳）: バッチ行列形式の方程式と多層パーセプトロンの実装
- Authors: Wieger Wesselink, Bram Grooten, Huub van de Wetering, Qiao Xiao, Decebal Constantin Mocanu,
- Abstract要約: 多層パーセプトロン(MLP)は現代のディープラーニングの基礎であるが、アルゴリズムの詳細は完全で明示的なEmphbatch行列形式で提示されることは滅多にない。
自動微分は等しく高い計算効率を達成するが、バッチ行列形式の使用により計算構造が明確になる。
本稿では,バッチ行列形式の勾配の数学的に厳密な実装仕様を提供することにより,そのギャップを埋める。
- 参考スコア（独自算出の注目度）: 11.220061576867558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilayer perceptrons (MLPs) remain fundamental to modern deep learning, yet their algorithmic details are rarely presented in complete, explicit \emph{batch matrix-form}. Rather, most references express gradients per sample or rely on automatic differentiation. Although automatic differentiation can achieve equally high computational efficiency, the usage of batch matrix-form makes the computational structure explicit, which is essential for transparent, systematic analysis, and optimization in settings such as sparse neural networks. This paper fills that gap by providing a mathematically rigorous and implementation-ready specification of MLPs in batch matrix-form. We derive forward and backward equations for all standard and advanced layers, including batch normalization and softmax, and validate all equations using the symbolic mathematics library SymPy. From these specifications, we construct uniform reference implementations in NumPy, PyTorch, JAX, TensorFlow, and a high-performance C++ backend optimized for sparse operations. Our main contributions are: (1) a complete derivation of batch matrix-form backpropagation for MLPs, (2) symbolic validation of all gradient equations, (3) uniform Python and C++ reference implementations grounded in a small set of matrix primitives, and (4) demonstration of how explicit formulations enable efficient sparse computation. Together, these results establish a validated, extensible foundation for understanding, teaching, and researching neural network algorithms.
- Abstract（参考訳）: 多層パーセプトロン (MLPs) は現代のディープラーニングの基本であるが、アルゴリズムの詳細は完全で明示的な 'emph{batch matrix-form} で表されることは滅多にない。
むしろ、ほとんどの参照はサンプルごとの勾配を表すか、自動微分に依存している。
自動微分は等しく高い計算効率を達成することができるが、バッチ行列形式を用いることで計算構造が明確になる。
本稿では,バッチ行列形式でのMDPの数学的に厳密で実装可能な仕様を提供することで,そのギャップを埋める。
我々は、バッチ正規化やソフトマックスを含むすべての標準層および先進層の前方および後方方程式を導出し、シンボリック数学ライブラリSymPyを用いて全ての方程式を検証する。
これらの仕様から,NumPy,PyTorch,JAX,TensorFlowの統一参照実装と,スパース操作に最適化された高性能C++バックエンドを構築する。
主な貢献は,(1) MLPのバッチ行列形式のバックプロパゲーションの完全導出,(2) 勾配方程式の記号的検証,(3) 行列プリミティブの小さな集合に基礎を置いたPythonおよびC++参照実装,(4) 明示的な定式化がいかに効率的なスパース計算を実現するかの実証である。
これらの結果は、ニューラルネットワークアルゴリズムを理解し、教え、研究するための、検証され、拡張可能な基盤を確立する。
関連論文リスト
- SeeMPS: A Python-based Matrix Product State and Tensor Train Library [1.0499611180329804]
SeeMPSは、Matrix Product States(MPS)とQuantized Train(QTT)の形式に基づくテンソルネットワークアルゴリズムを実装するためのPythonライブラリである。
このライブラリは、従来の量子多体物理学の応用や、量子に着想を得た数値解析問題にも利用できる。
論文 参考訳（メタデータ） (2026-01-23T13:31:16Z) - MatRL: Provably Generalizable Iterative Algorithm Discovery via Monte-Carlo Tree Search [37.24058519921229]
MatRLは、行列関数を計算するための反復アルゴリズムを自動的に発見する強化学習フレームワークである。
そこで本研究では,MateRLが文献の様々なベースラインを上回るアルゴリズムを生成することを示す。
論文 参考訳（メタデータ） (2025-07-04T22:57:33Z) - FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。
当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
論文 参考訳（メタデータ） (2025-05-23T14:37:00Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳（メタデータ） (2023-08-26T06:12:33Z) - Optimized Sparse Matrix Operations for Reverse Mode Automatic
Differentiation [3.72826300260966]
本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。
また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
論文 参考訳（メタデータ） (2022-12-10T00:46:51Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳（メタデータ） (2022-04-01T17:37:29Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - A Deep Learning Inference Scheme Based on Pipelined Matrix
Multiplication Acceleration Design and Non-uniform Quantization [9.454905560571085]
本稿では,パイプライン行列乗算法と非一様量子化法に基づく低消費電力多層パーセプトロン(MLP)加速器を提案する。
その結果,本手法は少ない消費電力で優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-10-10T17:31:27Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - On the Efficient Implementation of the Matrix Exponentiated Gradient
Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。
低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。
また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
論文 参考訳（メタデータ） (2020-12-18T19:14:51Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳（メタデータ） (2020-06-07T15:35:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。