Fugu-MT 論文翻訳(概要): Fast Differentiable SVD on GPU via Polar Decomposition

論文の概要: Fast Differentiable SVD on GPU via Polar Decomposition

arxiv url: http://arxiv.org/abs/2609.32505v1
Date: Sat, 26 Sep 2026 11:49:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 08:29:13.449646
Title: Fast Differentiable SVD on GPU via Polar Decomposition
Title（参考訳）: 極性分解によるGPU上の高速微分可能SVD
Abstract要約: 偏極分解に基づく完全にGPU指向のSVDパイプラインを提案する。このアプローチは、標準実装と比較して最大で2倍のスピードアップを可能にします。
参考スコア（独自算出の注目度）: 6.711753689017448
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a fully GPU-oriented SVD pipeline based on polar decomposition, motivated by iterative methods that rely solely on matrix multiplications, such as the Newton-Schulz iteration. We show that this approach enables up to a $2\times$ speedup compared to standard implementations. Furthermore, we derive a numerically stable backward pass for the polar decomposition and leverage it to obtain a fully differentiable SVD. Our methods are released as open-source implementations in both PyTorch and JAX: https://github.com/fallnlove/cans_svd.
Abstract（参考訳）: 偏極分解に基づく完全にGPU指向のSVDパイプラインを,ニュートン・シュルツ反復のような行列乗法にのみ依存する反復的手法を用いて提案する。このアプローチは、標準実装と比較して最大2ドル以上のスピードアップを可能にします。さらに、偏極分解のための数値的に安定な後方通過を導出し、それを利用して完全に微分可能なSVDを得る。私たちのメソッドはPyTorchとJAXの両方でオープンソース実装としてリリースされています。

関連論文リスト

GRADSOLVE: fast exact gradients for ODE ensembles on GPUs [0.0]
GRADSOLVEはNVIDIA GPU上で低次元ODEアンサンブルを分解し、逆モードで識別するオープンソースのライブラリである。帰還勾配はこれらのステップの正確な離散随伴であり、同じ微分 Diffrax はデフォルトでは戻り、適応ループよりも固定長鎖からより安価に得られる。 Diffraxをフォールバックとして保持し、明示的でRosenbrockをサポートする。
論文参考訳（メタデータ） (2026-09-02T17:56:10Z)
Batch-efficient EigenDecomposition for Small and Medium Matrices [65.67315418971688]
EigenDecomposition (ED)は多くのコンピュータビジョンアルゴリズムとアプリケーションの中心にある。本稿では,コンピュータビジョンの応用シナリオに特化したQRベースのED手法を提案する。
論文参考訳（メタデータ） (2022-07-09T09:14:12Z)
Fast Differentiable Matrix Square Root and Inverse Square Root [65.67315418971688]
微分可能な行列平方根と逆平方根を計算するためのより効率的な2つの変種を提案する。前方伝搬には, Matrix Taylor Polynomial (MTP) を用いる方法と, Matrix Pad'e Approximants (MPA) を使用する方法がある。一連の数値実験により、両方の手法がSVDやNSの繰り返しと比較してかなりスピードアップすることが示された。
論文参考訳（メタデータ） (2022-01-29T10:00:35Z)
Fast Differentiable Matrix Square Root [65.67315418971688]
微分可能な行列平方根を計算するために、より効率的な2つの変種を提案する。前方伝播には, Matrix Taylor Polynomial (MTP) を用いる方法がある。もう1つの方法は Matrix Pad'e Approximants (MPA) を使うことである。
論文参考訳（メタデータ） (2022-01-21T12:18:06Z)
Implicit SVD for Graph Representation Learning [33.761179632722]
控えめなハードウェアを持つ人には、グラフ表現学習をより計算的に学習しやすいものにします。我々はSOTAモデルの線形近似を導出し、入出力を計算せずに$mathbfM$のSVDを介して閉形式でモデルを訓練する。我々のモデルは、様々なグラフ上での競合実証試験性能を示す。
論文参考訳（メタデータ） (2021-11-11T16:58:17Z)
Efficient GPU implementation of randomized SVD and its applications [17.71779625877989]
行列分解は、次元データの圧縮やディープラーニングアルゴリズムなど、機械学習においてユビキタスである。行列分解の典型的な解は、計算コストと時間を大幅に増大させる複雑さを持つ。我々は,計算行列分解の計算負担を軽減するために,現代のグラフィカル処理ユニット(GPU)で並列に動作する効率的な処理操作を利用する。
論文参考訳（メタデータ） (2021-10-05T07:42:41Z)
Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-05-06T08:03:45Z)
Robust Differentiable SVD [117.35644933471401]
対称行列の固有分解は多くのコンピュータビジョンアルゴリズムの中心にある。不安定性は互いに近い固有値の存在によって生じる。 SVD勾配のテイラー展開は、反復過程に依存することなくPIを用いて得られる勾配と理論的に等価であることを示す。
論文参考訳（メタデータ） (2021-04-08T15:04:15Z)
Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。