論文の概要: Batch-efficient EigenDecomposition for Small and Medium Matrices
- arxiv url: http://arxiv.org/abs/2207.04228v1
- Date: Sat, 9 Jul 2022 09:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 14:36:12.271563
- Title: Batch-efficient EigenDecomposition for Small and Medium Matrices
- Title（参考訳）: 中小行列に対するバッチ効率の固有分解
- Authors: Yue Song, Nicu Sebe, Wei Wang
- Abstract要約: EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
- 参考スコア（独自算出の注目度）: 65.67315418971688
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: EigenDecomposition (ED) is at the heart of many computer vision algorithms
and applications. One crucial bottleneck limiting its usage is the expensive
computation cost, particularly for a mini-batch of matrices in the deep neural
networks. In this paper, we propose a QR-based ED method dedicated to the
application scenarios of computer vision. Our proposed method performs the ED
entirely by batched matrix/vector multiplication, which processes all the
matrices simultaneously and thus fully utilizes the power of GPUs. Our
technique is based on the explicit QR iterations by Givens rotation with double
Wilkinson shifts. With several acceleration techniques, the time complexity of
QR iterations is reduced from $O{(}n^5{)}$ to $O{(}n^3{)}$. The numerical test
shows that for small and medium batched matrices (\emph{e.g.,} $dim{<}32$) our
method can be much faster than the Pytorch SVD function. Experimental results
on visual recognition and image generation demonstrate that our methods also
achieve competitive performances.
- Abstract（参考訳）: EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。
その使用を制限する重要なボトルネックの1つは、特にディープニューラルネットワークにおける行列の小さなバッチに対して、高価な計算コストである。
本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
提案手法は,全行列を同時に処理し,GPUのパワーをフル活用するバッチ行列/ベクトル乗算により,EDを完全化する。
本手法は, ダブルウィルキンソンシフトを用いたギフト回転による明示的なQR反復に基づく。
いくつかの加速法では、QR反復の時間複雑性は$O{(}n^5{)}$から$O{(}n^3{)}$に減少する。
数値テストにより、中小のバッチ行列(例えば、$dim{<}32$)に対して、この方法はpytorch svd関数よりもはるかに高速であることが示される。
視覚認識と画像生成の実験結果から,本手法は競争性能も向上することが示された。
関連論文リスト
- Giga-scale Kernel Matrix Vector Multiplication on GPU [9.106412307976067]
Kernel matrix vector multiplication (KMVM) は、カーネル文学から信号処理まで、機械学習と科学計算におけるユビキタスな演算である。
KMVMのスケーリング問題に対処するために,Faster-Fast and Free Memory Method(textF3$M)という新しい近似手法を提案する。
我々は、$textF3$Mで10億ポイントのKMVMを1分以内のハイエンドGPUで計算できることを示し、既存のCPU手法と比較して大幅に高速化された。
論文 参考訳（メタデータ） (2022-02-02T15:28:15Z) - Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。
前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。
一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文 参考訳（メタデータ） (2022-01-29T10:00:35Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - A Deep Learning Inference Scheme Based on Pipelined Matrix
Multiplication Acceleration Design and Non-uniform Quantization [9.454905560571085]
本稿では,パイプライン行列乗算法と非一様量子化法に基づく低消費電力多層パーセプトロン(MLP)加速器を提案する。
その結果,本手法は少ない消費電力で優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-10-10T17:31:27Z) - Efficient GPU implementation of randomized SVD and its applications [17.71779625877989]
行列分解は、次元データの圧縮やディープラーニングアルゴリズムなど、機械学習においてユビキタスである。
行列分解の典型的な解は、計算コストと時間を大幅に増大させる複雑さを持つ。
我々は,計算行列分解の計算負担を軽減するために,現代のグラフィカル処理ユニット(GPU)で並列に動作する効率的な処理操作を利用する。
論文 参考訳（メタデータ） (2021-10-05T07:42:41Z) - VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。
textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文 参考訳（メタデータ） (2021-05-04T04:10:48Z) - Fast and Accurate Pseudoinverse with Sparse Matrix Reordering and
Incremental Approach [4.710916891482697]
擬逆は行列逆の一般化であり、機械学習で広く利用されている。
FastPIはスパース行列に対する新たなインクリメンタル特異値分解法(SVD)である。
我々は,FastPIが精度を損なうことなく,他の近似手法よりも高速に擬似逆計算を行うことを示す。
論文 参考訳（メタデータ） (2020-11-09T07:47:10Z) - What if Neural Networks had SVDs? [66.91160214071088]
様々なニューラルネットワークでは、行列反転のような時間を要する行列演算を採用している。
本稿では,行列演算を高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-29T12:58:52Z) - QR and LQ Decomposition Matrix Backpropagation Algorithms for Square,
Wide, and Deep -- Real or Complex -- Matrices and Their Software
Implementation [0.0]
この記事では、正方形(m = n)、幅(m n)、深さ(m > n)のいずれかの行列のQR分解に対する行列バックプロパゲーションアルゴリズムを、階数$k = min(m, n)$で提示する。
我々は, ピボット(フルランク)QR分解と深部入力行列のLQ分解のための新しい行列バックプロパゲーション結果を得た。
論文 参考訳（メタデータ） (2020-09-19T21:03:37Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳（メタデータ） (2020-06-18T08:16:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。