論文の概要: Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods

• arxiv url: http://arxiv.org/abs/2609.21815v2
• Date: Fri, 25 Sep 2026 14:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.017742
• Title: Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods
• Title（参考訳）: Matrix AdaGrad:Row-wise and Column-wise Adaptive Subgradient Methods
• Abstract要約: 行列値パラメータに対する適応的近位関数を持つオンラインミラーDescentフレームワークを開発した。 行ワイドおよび列ワイド行列近位関数を導入することにより、我々のフレームワークは適応的スケーリングを管理するトレードオフを明確に明らかにする。 このフレームワークは、具体的なインスタンス化としてRow-wise Matrix AdaGradとColumn-wise Matrix AdaGradを生成する。
• 参考スコア（独自算出の注目度）: 37.03712517280161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive optimization methods such as AdaGrad and Adam are widely used in modern deep neural network training, but their adaptive scaling is primarily designed for vector-valued parameters and does not explicitly exploit matrix structure. Recent matrix-aware optimizers demonstrate the benefits of structured optimization, yet a general theoretical framework for deriving matrix-aware adaptivity comparable to that of AdaGrad remains lacking. In this work, we develop an Online Mirror Descent framework with adaptive proximal functions for matrix-valued parameters, providing a principled methodology for deriving matrix-aware adaptive optimization through online regret minimization. By introducing row-wise and column-wise matrix proximal functions, our framework explicitly reveals the trade-off governing adaptive scaling: increasing the scaling factors reduces the gradient-dependent dual norm term while increasing the cost of evolving the proximal geometry. In the row-wise setting, this trade-off becomes separable under diagonal parameterization, allowing the adaptive scaling for each row to be derived independently by minimizing its corresponding row-wise regret bound. The column-wise counterpart follows directly by applying the row-wise construction to the transposed matrix. This framework yields Row-wise Matrix AdaGrad and Column-wise Matrix AdaGrad as concrete instantiations, with regret guarantees that are strictly tighter than those of entry-wise AdaGrad under row-sparse or column-sparse gradient structures. Experiments on matrix factorization and stacked deep MLP training further demonstrate the benefits of matrix-aware adaptive scaling, yielding improved optimization performance in both settings and enhanced optimization stability and trainability at larger learning rates and greater network depths in the latter.
• Abstract（参考訳）: AdaGradやAdamのような適応最適化手法は、現代のディープニューラルネットワークトレーニングで広く使われているが、適応スケーリングは主にベクトル値パラメータ用に設計されており、行列構造を明示的に利用していない。 最近の行列認識最適化は、構造化最適化の利点を示しているが、AdaGradに匹敵する行列認識適応性を導出するための一般的な理論的枠組みは、いまだに欠落している。 本研究では,行列値パラメータに適応的近位関数を付加したオンラインミラー Descent フレームワークを開発し,オンライン後悔最小化による行列認識適応最適化を導出する原理的手法を提供する。 拡張係数を増大させることで、勾配依存の双対ノルム項が減少し、近位幾何の進化コストが増大する。 行ワイズ設定では、このトレードオフは対角パラメータ化の下で分離可能となり、対応する行ワイズ後悔境界を最小化することにより、各行の適応スケーリングを独立に導出することができる。 カラムワイズ対向は、転置行列に行ワイズ構成を適用することによって直接従う。 この枠組みはRow-wise Matrix AdaGrad および Column-wise Matrix AdaGrad を具体的なインスタンス化として生成し、行スパースあるいは列スパース勾配構造の下でのエントリワイド AdaGrad よりも厳密な後悔の保証を与える。 行列分解と深層MLP学習の実験により、行列対応適応スケーリングの利点がさらに証明され、両方の設定における最適化性能が向上し、より大きな学習率での最適化安定性とトレーニング性が向上し、後者ではネットワーク深度が向上した。

関連論文リスト

• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Dynamic Low-rank Approximation of Full-Matrix Preconditioner for Training Generalized Linear Models [43.79587815909472]
  AdaGramは効率の良い完全行列適応勾配更新である。 AdaGramは、ランク5とより小さいランク近似を使用する場合、より速く収束するか、対角アダプティブのパフォーマンスに適合する。 これは、大規模モデルにおける適応最適化のためのスケーラブルなソリューションとしてのAdaGramの可能性を示している。
  論文  参考訳（メタデータ） (2025-08-28T13:15:05Z)
• Efficient Adaptation of Pre-trained Vision Transformer underpinned by Approximately Orthogonal Fine-Tuning Strategy [57.54306942529943]
  約直交微調整(AOFT)による低ランク重量行列の表現法を提案する。 本手法は,下流画像分類タスクにおける競合性能を実現する。
  論文  参考訳（メタデータ） (2025-07-17T16:09:05Z)
• Spectral-factorized Positive-definite Curvature Learning for NN Training [39.296923519945814]
  Adam(W) や Shampoo のような訓練手法は正定値の曲率行列を学習し、プレコンディショニングの前に逆根を適用する。 スペクトル分解正定曲率推定を動的に適用するリーマン最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:07:04Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。