論文の概要: What if Neural Networks had SVDs?
- arxiv url: http://arxiv.org/abs/2009.13977v1
- Date: Tue, 29 Sep 2020 12:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 05:25:26.591104
- Title: What if Neural Networks had SVDs?
- Title（参考訳）: もしニューラルネットワークにsvdがあったら?
- Authors: Alexander Mathiasen, Frederik Hvilsh{\o}j, Jakob R{\o}dsgaard
J{\o}rgensen, Anshul Nasery, Davide Mottin
- Abstract要約: 様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 66.91160214071088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various Neural Networks employ time-consuming matrix operations like matrix
inversion. Many such matrix operations are faster to compute given the Singular
Value Decomposition (SVD). Previous work allows using the SVD in Neural
Networks without computing it. In theory, the techniques can speed up matrix
operations, however, in practice, they are not fast enough. We present an
algorithm that is fast enough to speed up several matrix operations. The
algorithm increases the degree of parallelism of an underlying matrix
multiplication $H\cdot X$ where $H$ is an orthogonal matrix represented by a
product of Householder matrices. Code is available at
www.github.com/AlexanderMath/fasth .
- Abstract（参考訳）: 様々なニューラルネットワークは行列反転のような時間消費行列演算を用いる。
このような行列演算の多くは、Singular Value Decomposition (SVD) によって高速に計算できる。
従来の研究では、ニューラルネットワークでsvdを計算せずに使用できる。
理論的には、この手法は行列演算を高速化することができるが、実際には十分高速ではない。
本稿では,行列演算を高速化するアルゴリズムを提案する。
このアルゴリズムは、基礎となる行列乗法 $H\cdot X$ の並列性の度合いを増大させ、$H$ はハウスマトリクスの積で表される直交行列である。
コードはwww.github.com/AlexanderMath/fasthで入手できる。
関連論文リスト
- Fast Matrix Multiplication Without Tears: A Constraint Programming
Approach [8.52818380743467]
$N倍のM$行列と$M倍のP$行列の乗算は、単純な$NMPアプローチが示しているよりも少ない乗算で実現できることが知られている。
これにより、高速行列乗法における制約満足度問題が発生する。
本稿では,高速行列乗算のための非可換アルゴリズムを見つけるための,シンプルながら新しい制約プログラミング手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T19:15:24Z) - Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文 参考訳（メタデータ） (2022-07-09T09:14:12Z) - A Structured Sparse Neural Network and Its Matrix Calculations Algorithm [0.0]
非対称な三対角行列を導入し, 対角方向のスパース成分とオフセット部分および超対角線を導入した。
行列逆が存在しない場合には、最小二乗型擬逆が提供される。
その結果,行列のサイズが大きくなると計算コストが著しく向上することがわかった。
論文 参考訳（メタデータ） (2022-07-02T19:38:48Z) - Block-encoding dense and full-rank kernels using hierarchical matrices:
applications in quantum numerical linear algebra [6.338178373376447]
本稿では,量子コンピュータ上の階層行列構造のブロック符号化方式を提案する。
我々の手法は、次元$N$から$O(kappa operatornamepolylog(fracNvarepsilon))$の量子線型系を解くランタイムを改善することができる。
論文 参考訳（メタデータ） (2022-01-27T05:24:02Z) - Fast Differentiable Matrix Square Root [65.67315418971688]
微分可能な行列平方根を計算するために、より効率的な2つの変種を提案する。
前方伝播には, Matrix Taylor Polynomial (MTP) を用いる方法がある。
もう1つの方法は Matrix Pad'e Approximants (MPA) を使うことである。
論文 参考訳（メタデータ） (2022-01-21T12:18:06Z) - Multiplying Matrices Without Multiplying [0.0]
行列の乗算は機械学習における最も基本的で計算集約的な操作の1つである。
本稿では,既存の手法を大幅に上回る学習ベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-21T05:08:54Z) - Non-PSD Matrix Sketching with Applications to Regression and
Optimization [56.730993511802865]
非PSDおよび2乗根行列の次元削減法を提案する。
複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
論文 参考訳（メタデータ） (2021-06-16T04:07:48Z) - Constant-Depth and Subcubic-Size Threshold Circuits for Matrix
Multiplication [1.9518237361775532]
大規模ニューラルネットワークハードウェアの最近の進歩は、その実践的実装を短期的可能性にしている。
しきい値ゲート論理を統合する2つの$N$を$N$行列に乗算する理論的アプローチについて述べる。
デンス行列乗算は畳み込みニューラルネットワークトレーニングにおけるコア演算である。
論文 参考訳（メタデータ） (2020-06-25T18:28:10Z) - An Analysis of SVD for Deep Rotation Estimation [63.97835949897361]
SVDが回転群に射影する自然な選択であることを示す理論的解析を提案する。
解析の結果,既存の表現をSVDの直交化手順に置き換えれば,多くのディープラーニングアプリケーションにおいて,技術性能の状態を得られることがわかった。
論文 参考訳（メタデータ） (2020-06-25T17:58:28Z) - Sketching Transformed Matrices with Applications to Natural Language
Processing [76.6222695417524]
本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
論文 参考訳（メタデータ） (2020-02-23T03:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。