論文の概要: Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics

• arxiv url: http://arxiv.org/abs/2606.31390v1
• Date: Tue, 30 Jun 2026 09:19:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.163631
• Title: Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
• Title（参考訳）: 低ランク行列最適化のための方向・方位分解:より高速な収束とサドル・アンド・サドルダイナミクス
• Abstract要約: 本稿では、最適化変数を分解して効率を向上する統合化フレームワークDMDを提案する。 DMDに基づく2つのアプローチを開発し、行列分解の正準問題に対する理論的優位性を確立する。
• 参考スコア（独自算出の注目度）: 32.90061456124932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank matrix optimization is often carried out via the Burer-Monteiro (BM) formulation, but choosing the factorization rank $r$ is delicate and can substantially slow optimization. We propose a unified framework, termed direction-magnitude decomposition (DMD), that decomposes the optimization variable to improve optimization efficiency even when the target rank is unknown. We develop two DMD-based approaches and establish their theoretical advantages on the canonical problem of matrix factorization. The first, overparameterized DMD, uses a rank $r$ larger than necessary and enjoys faster convergence as $r$ increases. The second, recursive DMD, is motivated by the incremental eigenpair learning, or saddle-to-saddle, behavior of overparameterized DMD. It achieves lower memory and computational costs, complementing overparameterized DMD. Both approaches are exponentially faster than gradient descent applied to the BM formulation. Numerical experiments on matrix factorization, sensing, and completion corroborate our theoretical findings and demonstrate the practical effectiveness of DMD.
• Abstract（参考訳）: 低ランク行列の最適化は、Burer-Monteiro (BM) の定式化によって行われることが多いが、因数分解ランクの$r$は繊細であり、かなり遅い最適化である。 目標ランクが不明な場合でも最適化変数を分解して最適化効率を向上する統合フレームワークDMDを提案する。 DMDに基づく2つのアプローチを開発し、行列分解の正準問題に対する理論的優位性を確立する。 最初のパラメータ化されたMDDは、必要以上に$r$のランクを使い、$r$が増加するにつれてより高速な収束を楽しむ。 第2の再帰的MDDは、過度にパラメータ化されたMDDの振る舞いである漸進的な固有ペア学習(Saddle-to-Saddle)によって動機付けられる。 メモリと計算コストの低減を実現し、過パラメータ化されたMDDを補完する。 どちらのアプローチも、BM定式化に適用される勾配降下よりも指数関数的に高速である。 行列分解, センシング, 完了に関する数値実験は, 我々の理論的知見を裏付け, DMDの有効性を実証するものである。

関連論文リスト

• Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
  Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。 フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
  論文  参考訳（メタデータ） (2026-04-01T15:40:20Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Efficient algorithms for the Hadamard decomposition [14.653207365119796]
  アダマール分解はデータ解析と行列圧縮の強力な技術である。 本稿では、与えられた行列を2つ以上の低ランク近似の積に分解するフレームワークを開発する。 本研究では,アダマール分解に対する既存の降下法との比較実験を行った。
  論文  参考訳（メタデータ） (2025-04-18T11:14:25Z)
• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation [0.49399484784577985]
  MF(Matrix Factorization)は、リコメンデーションシステム(RS)のための協調フィルタリングアルゴリズムである。 現在のRSではユーザ/イテムが劇的に増加しているため、MFモデルのトレーニングに要する計算の複雑さは大幅に増大している。 我々は、追加の計算資源を誘導することなく、MFを高速化するアルゴリズム手法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:27:33Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• On the Efficient Implementation of the Matrix Exponentiated Gradient Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
  スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。 低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。 また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
  論文  参考訳（メタデータ） (2020-12-18T19:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。