論文の概要: Sketching Low-Rank Plus Diagonal Matrices

• arxiv url: http://arxiv.org/abs/2509.23587v2
• Date: Thu, 02 Oct 2025 15:30:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.138093
• Title: Sketching Low-Rank Plus Diagonal Matrices
• Title（参考訳）: ローランドプラス対角行列のスケッチ
• Authors: Andres Fernandez, Felix Dangel, Philipp Hennig, Frank Schneider,
• Abstract要約: この研究は、低ランク*と*の対角成分を同時に推定するSKETCHLORDを導入する。 理論的および経験的に、この結合推定は任意の逐次変量よりも優れていることを示す。 合成(近似)LoRD行列に関する総合的な実験により、これらの構造を正確に復元するSKETCHLORDの性能が確認された。
• 参考スコア（独自算出の注目度）: 26.821119029667702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many relevant machine learning and scientific computing tasks involve high-dimensional linear operators accessible only via costly matrix-vector products. In this context, recent advances in sketched methods have enabled the construction of *either* low-rank *or* diagonal approximations from few matrix-vector products. This provides great speedup and scalability, but approximation errors arise due to the assumed simpler structure. This work introduces SKETCHLORD, a method that simultaneously estimates both low-rank *and* diagonal components, targeting the broader class of Low-Rank *plus* Diagonal (LoRD) linear operators. We demonstrate theoretically and empirically that this joint estimation is superior also to any sequential variant (diagonal-then-low-rank or low-rank-then-diagonal). Then, we cast SKETCHLORD as a convex optimization problem, leading to a scalable algorithm. Comprehensive experiments on synthetic (approximate) LoRD matrices confirm SKETCHLORD's performance in accurately recovering these structures. This positions it as a valuable addition to the structured approximation toolkit, particularly when high-fidelity approximations are desired for large-scale operators, such as the deep learning Hessian.
• Abstract（参考訳）: 多くの関連する機械学習および科学計算タスクは、高価な行列ベクトル製品を通してのみアクセス可能な高次元線形演算子を含んでいる。 この文脈において、スケッチされた手法の最近の進歩により、少数の行列ベクトル積からの *-rank *or* 対角近似の構成が可能になった。 これは大幅なスピードアップとスケーラビリティを提供するが、仮定された単純な構造のために近似誤差が発生する。 SKETCHLORDは低ランク*と対角成分の両方を同時に推定する手法で、ローランド*プラス*対角作用素のより広範なクラスをターゲットにしている。 我々は、この結合推定が、任意の逐次変種(対角列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列列 次に,SKETCHLORDを凸最適化問題とし,拡張性のあるアルゴリズムを提案する。 合成(近似)LoRD行列に関する総合的な実験により、これらの構造を正確に復元するSKETCHLORDの性能が確認された。 このことは、特に深層学習ヘッセンのような大規模作用素に対して高忠実度近似が望まれる場合、構造化近似ツールキットの付加価値として位置づけられる。

関連論文リスト

• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• LancBiO: dynamic Lanczos-aided bilevel optimization via Krylov subspace [4.917399520581689]
  本稿では、ランツォス過程の助けを借りて、低次元近似クリロフ部分空間の列を構築する。 構成された部分空間は、動的かつ漸進的にヘッセン逆ベクトル積を近似することができる。 また,小さな三角形線形系を解くための中心ステップとして,二段階問題に対する証明可能な部分空間ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T09:57:29Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)
• Efficient Alternating Least Squares Algorithms for Low Multilinear Rank Approximation of Tensors [6.308492837096872]
  テンソルの低次階数近似を効率的に計算するための最小二乗(ALS)に基づく新しいクラスHOSVDアルゴリズムを提案する。 ALSに基づくアプローチは、中間行列の特異ベクトルの冗長な計算を排除し、したがってデータの爆発をなくすことができる。 合成および実世界の双方の大規模テンソルを用いた数値実験により、ALSベースの手法が原材料全体のコストを大幅に削減し、並列計算に非常にスケーラブルであることを示す。
  論文  参考訳（メタデータ） (2020-04-06T11:58:04Z)
• Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
  我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。 本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。