論文の概要: Batch Matrix-form Equations and Implementation of Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2511.11918v1
• Date: Fri, 14 Nov 2025 22:52:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.394974
• Title: Batch Matrix-form Equations and Implementation of Multilayer Perceptrons
• Title（参考訳）: バッチ行列形式の方程式と多層パーセプトロンの実装
• Authors: Wieger Wesselink, Bram Grooten, Huub van de Wetering, Qiao Xiao, Decebal Constantin Mocanu,
• Abstract要約: 多層パーセプトロン(MLP)は現代のディープラーニングの基礎であるが、アルゴリズムの詳細は完全で明示的なEmphbatch行列形式で提示されることは滅多にない。 自動微分は等しく高い計算効率を達成するが、バッチ行列形式の使用により計算構造が明確になる。 本稿では,バッチ行列形式の勾配の数学的に厳密な実装仕様を提供することにより,そのギャップを埋める。
• 参考スコア（独自算出の注目度）: 11.220061576867558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilayer perceptrons (MLPs) remain fundamental to modern deep learning, yet their algorithmic details are rarely presented in complete, explicit \emph{batch matrix-form}. Rather, most references express gradients per sample or rely on automatic differentiation. Although automatic differentiation can achieve equally high computational efficiency, the usage of batch matrix-form makes the computational structure explicit, which is essential for transparent, systematic analysis, and optimization in settings such as sparse neural networks. This paper fills that gap by providing a mathematically rigorous and implementation-ready specification of MLPs in batch matrix-form. We derive forward and backward equations for all standard and advanced layers, including batch normalization and softmax, and validate all equations using the symbolic mathematics library SymPy. From these specifications, we construct uniform reference implementations in NumPy, PyTorch, JAX, TensorFlow, and a high-performance C++ backend optimized for sparse operations. Our main contributions are: (1) a complete derivation of batch matrix-form backpropagation for MLPs, (2) symbolic validation of all gradient equations, (3) uniform Python and C++ reference implementations grounded in a small set of matrix primitives, and (4) demonstration of how explicit formulations enable efficient sparse computation. Together, these results establish a validated, extensible foundation for understanding, teaching, and researching neural network algorithms.
• Abstract（参考訳）: 多層パーセプトロン (MLPs) は現代のディープラーニングの基本であるが、アルゴリズムの詳細は完全で明示的な 'emph{batch matrix-form} で表されることは滅多にない。 むしろ、ほとんどの参照はサンプルごとの勾配を表すか、自動微分に依存している。 自動微分は等しく高い計算効率を達成することができるが、バッチ行列形式を用いることで計算構造が明確になる。 本稿では,バッチ行列形式でのMDPの数学的に厳密で実装可能な仕様を提供することで,そのギャップを埋める。 我々は、バッチ正規化やソフトマックスを含むすべての標準層および先進層の前方および後方方程式を導出し、シンボリック数学ライブラリSymPyを用いて全ての方程式を検証する。 これらの仕様から,NumPy,PyTorch,JAX,TensorFlowの統一参照実装と,スパース操作に最適化された高性能C++バックエンドを構築する。 主な貢献は,(1) MLPのバッチ行列形式のバックプロパゲーションの完全導出,(2) 勾配方程式の記号的検証,(3) 行列プリミティブの小さな集合に基礎を置いたPythonおよびC++参照実装,(4) 明示的な定式化がいかに効率的なスパース計算を実現するかの実証である。 これらの結果は、ニューラルネットワークアルゴリズムを理解し、教え、研究するための、検証され、拡張可能な基盤を確立する。

関連論文リスト

• MatRL: Provably Generalizable Iterative Algorithm Discovery via Monte-Carlo Tree Search [37.24058519921229]
  MatRLは、行列関数を計算するための反復アルゴリズムを自動的に発見する強化学習フレームワークである。 そこで本研究では,MateRLが文献の様々なベースラインを上回るアルゴリズムを生成することを示す。
  論文  参考訳（メタデータ） (2025-07-04T22:57:33Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
  本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。 MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。 理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
  論文  参考訳（メタデータ） (2023-08-26T06:12:33Z)
• Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation [3.72826300260966]
  本稿では,PyTorch のための CSR ベースのスパース行列ラッパーの実装について述べる。 また,結果のスパースカーネルを最適化に応用し,実装や性能測定の容易さを高密度カーネルと比較した。
  論文  参考訳（メタデータ） (2022-12-10T00:46:51Z)
• A Deep Learning Inference Scheme Based on Pipelined Matrix Multiplication Acceleration Design and Non-uniform Quantization [9.454905560571085]
  本稿では,パイプライン行列乗算法と非一様量子化法に基づく低消費電力多層パーセプトロン(MLP)加速器を提案する。 その結果,本手法は少ない消費電力で優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-10T17:31:27Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。