論文の概要: Neural Learning of Fast Matrix Multiplication Algorithms: A StrassenNet Approach
- arxiv url: http://arxiv.org/abs/2602.21797v1
- Date: Wed, 25 Feb 2026 11:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.810061
- Title: Neural Learning of Fast Matrix Multiplication Algorithms: A StrassenNet Approach
- Title（参考訳）: 高速行列乗算アルゴリズムのニューラルネットワーク:StrassenNetアプローチ
- Authors: Paolo Andreini, Alessandra Bernardi, Monica Bianchini, Barbara Toniella Corradini, Sara Marziali, Giacomo Nunziati, Franco Scarselli,
- Abstract要約: 高速行列乗算は行列乗算テンソルの低ランク分解の探索として記述できる。
ニューラルネットワークである textscStrassenNet を設計し,Strassen アルゴリズムを2時間2$乗算で再現する。
次に、同じアーキテクチャを$rin19,dots,23$で3ドル3セントの乗算でトレーニングします。
- 参考スコア（独自算出の注目度）: 36.2561379432247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fast matrix multiplication can be described as searching for low-rank decompositions of the matrix--multiplication tensor. We design a neural architecture, \textsc{StrassenNet}, which reproduces the Strassen algorithm for $2\times 2$ multiplication. Across many independent runs the network always converges to a rank-$7$ tensor, thus numerically recovering Strassen's optimal algorithm. We then train the same architecture on $3\times 3$ multiplication with rank $r\in\{19,\dots,23\}$. Our experiments reveal a clear numerical threshold: models with $r=23$ attain significantly lower validation error than those with $r\le 22$, suggesting that $r=23$ could actually be the smallest effective rank of the matrix multiplication tensor $3\times 3$. We also sketch an extension of the method to border-rank decompositions via an $\varepsilon$--parametrisation and report preliminary results consistent with the known bounds for the border rank of the $3\times 3$ matrix--multiplication tensor.
- Abstract（参考訳）: 高速行列乗算は行列乗算テンソルの低ランク分解の探索として記述できる。
ニューラルネットワークである「textsc{StrassenNet}」を設計し、Strassenアルゴリズムを2-times 2$乗算で再現する。
多くの独立系において、ネットワークは常にランク7$テンソルに収束し、ストラッセンの最適アルゴリズムを数値的に復元する。
次に、同じアーキテクチャを$3\times 3$ multiplication with rank $r\in\{19,\dots,23\}$でトレーニングします。
実験の結果,$r=23$が$r\le 22$よりも検証誤差が大幅に低いモデルでは,$r=23$が行列乗算テンソルの最小値である可能性が示唆された。
また、この方法の拡張を$\varepsilon$-parametrisation(英語版)で表し、3$行列-multiplication tensor(英語版)の境界ランクの既知の境界値と一致した予備結果を報告する。
関連論文リスト
- Overcomplete Tensor Decomposition via Koszul-Young Flattenings [56.82556231289414]
最小ランク1項の和として$n_times n times n_3$ tensorを分解する新しいアルゴリズムを与える。
次数-d$s のさらに一般的なクラスは、定数 $C = C(d)$ に対して階数 $Cn$ を超えることができないことを示す。
論文 参考訳（メタデータ） (2024-11-21T17:41:09Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - Fast Matrix Multiplication Without Tears: A Constraint Programming
Approach [8.52818380743467]
$N倍のM$行列と$M倍のP$行列の乗算は、単純な$NMPアプローチが示しているよりも少ない乗算で実現できることが知られている。
これにより、高速行列乗法における制約満足度問題が発生する。
本稿では,高速行列乗算のための非可換アルゴリズムを見つけるための,シンプルながら新しい制約プログラミング手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T19:15:24Z) - Training Multi-Layer Over-Parametrized Neural Network in Subquadratic
Time [12.348083977777833]
我々は、損失関数によって引き起こされる経験的リスクを最小限に抑えるために、多層超並列ニューラルネットワークを訓練する問題を考察する。
本研究では,イテレーション毎のトレーニングコストの削減方法を示す。
論文 参考訳（メタデータ） (2021-12-14T18:13:36Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Constant-Depth and Subcubic-Size Threshold Circuits for Matrix
Multiplication [1.9518237361775532]
大規模ニューラルネットワークハードウェアの最近の進歩は、その実践的実装を短期的可能性にしている。
しきい値ゲート論理を統合する2つの$N$を$N$行列に乗算する理論的アプローチについて述べる。
デンス行列乗算は畳み込みニューラルネットワークトレーニングにおけるコア演算である。
論文 参考訳（メタデータ） (2020-06-25T18:28:10Z) - Training (Overparametrized) Neural Networks in Near-Linear Time [21.616949485102342]
本稿では,ReparamLUネットワークをトレーニングするための[CGH+1]アルゴリズムの高速化について述べる。
我々のアルゴリズムの中心はガウスニュートンを$ell$-reconditionとして再構成することである。
論文 参考訳（メタデータ） (2020-06-20T20:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。