論文の概要: PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training

• arxiv url: http://arxiv.org/abs/2601.22137v1
• Date: Thu, 29 Jan 2026 18:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.100184
• Title: PRISM: Distribution-free Adaptive Computation of Matrix Functions for Accelerating Neural Network Training
• Title（参考訳）: PRISM: ニューラルネットワーク学習の高速化のための行列関数の分布自由適応計算
• Authors: Shenghao Yang, Zhichao Wang, Oleg Balabanov, N. Benjamin Erichson, Michael W. Mahoney,
• Abstract要約: 本稿では,行列関数の計算アルゴリズムを高速化するフレームワークであるPRISM(Polynomial-fitting and Randomized Iterative Sketching for Matrix function)を提案する。 PRISMは適応近似とランダムなスケッチを組み合わせ、各イテレーションにおいて、スケッチされた最小二乗問題を介して現在のスペクトルに代理する。 従来の方法とは異なり、PRISMは明示的なスペクトル境界や特異値推定を必要とせず、進化するスペクトルに自動的に適応する。
• 参考スコア（独自算出の注目度）: 47.80717552769429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix functions such as square root, inverse roots, and orthogonalization play a central role in preconditioned gradient methods for neural network training. This has motivated the development of iterative algorithms that avoid explicit eigendecompositions and rely primarily on matrix multiplications, making them well suited for modern GPU accelerators. We present PRISM (Polynomial-fitting and Randomized Iterative Sketching for Matrix functions computation), a general framework for accelerating iterative algorithms for computing matrix functions. PRISM combines adaptive polynomial approximation with randomized sketching: at each iteration, it fits a polynomial surrogate to the current spectrum via a sketched least-squares problem, adapting to the instance at hand with minimal overhead. We apply PRISM to accelerate Newton-Schulz-like iterations for matrix square roots and orthogonalization, which are core primitives in machine learning. Unlike prior methods, PRISM requires no explicit spectral bounds or singular value estimates; and it adapts automatically to the evolving spectrum. Empirically, PRISM accelerates training when integrated into Shampoo and Muon optimizers.
• Abstract（参考訳）: 正方根、逆根、直交化などの行列関数は、ニューラルネットワークトレーニングの事前条件付き勾配法において中心的な役割を果たす。 これにより、明示的な固有分解を避け、行列乗算に主に依存する反復アルゴリズムの開発が動機となり、現代のGPUアクセラレーターに適している。 PRISM(Polynomial-fitting and Randomized Iterative Sketching for Matrix function computing)は,行列関数の反復アルゴリズムを高速化するための一般的なフレームワークである。 PRISMは適応多項式近似とランダムなスケッチとを組み合わせており、各反復において、多項式はスケッチされた最小二乗問題を通して現在のスペクトルに代理し、最小限のオーバーヘッドでインスタンスに適応する。 PRISMを適用し,行列平方根のニュートン・シュルツ様反復と直交化を高速化する。 従来の方法とは異なり、PRISMは明示的なスペクトル境界や特異値推定を必要とせず、進化するスペクトルに自動的に適応する。 PRISMは、シャンプーとムーンオプティマイザに統合された場合、トレーニングを加速する。

関連論文リスト

• MatRL: Provably Generalizable Iterative Algorithm Discovery via Monte-Carlo Tree Search [37.24058519921229]
  MatRLは、行列関数を計算するための反復アルゴリズムを自動的に発見する強化学習フレームワークである。 そこで本研究では,MateRLが文献の様々なベースラインを上回るアルゴリズムを生成することを示す。
  論文  参考訳（メタデータ） (2025-07-04T22:57:33Z)
• Tensor networks based quantum optimization algorithm [0.0]
  最適化において、よく知られた古典的アルゴリズムの1つは電力反復である。 我々はこの落とし穴を回避するために量子化を提案する。 我々の手法はインスタンス非依存となり、量子コンピューティングの枠組みの中でブラックボックス最適化に対処することができる。
  論文  参考訳（メタデータ） (2024-04-23T13:49:11Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Learning the Positions in CountSketch [49.57951567374372]
  本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。 本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-11T07:28:35Z)
• Matrix Reordering for Noisy Disordered Matrices: Optimality and Computationally Efficient Algorithms [9.245687221460654]
  単細胞生物学とメダゲノミクスの応用により,ノイズモノトンToeplitz行列モデルに基づく行列化の問題を考察した。 我々は、決定理論の枠組みでこの問題の基本的な統計的限界を確立し、制約付き最小二乗率を示す。 そこで本研究では,性能向上を保証した新しい時間適応ソートアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-17T14:53:52Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。