論文の概要: Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods

• arxiv url: http://arxiv.org/abs/2609.21815v1
• Date: Fri, 18 Sep 2026 14:22:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.143645
• Title: Matrix AdaGrad: Row-wise and Column-wise Adaptive Subgradient Methods
• Title（参考訳）: Matrix AdaGrad:Row-wise and Column-wise Adaptive Subgradient Methods
• Abstract要約: 我々は,行列値パラメータに対する適応的近位関数を持つ一般オンラインミラーディクセントフレームワークを開発した。 本研究では, 行列 AdaGrad (Row-wise Matrix AdaGrad, Row-AdaGrad) および行列 AdaGrad (Column-AdaGrad) を, 累積行数あるいは列数勾配ノルムによって決定される適応的スケーリングを用いて導出した。
• 参考スコア（独自算出の注目度）: 37.03712517280161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive optimization methods such as AdaGrad and Adam are widely used in modern neural-network training, but their adaptive scaling is primarily designed for vector-valued parameters and does not explicitly exploit matrix structure. Recent matrix-aware optimizers demonstrate the benefits of structured optimization, yet a general theoretical framework for deriving matrix-aware adaptivity comparable to that of AdaGrad remains lacking. In this work, we develop a general Online Mirror Descent framework with adaptive proximal functions for matrix-valued parameters, providing a principled approach to deriving matrix-aware adaptive optimization through online regret minimization. By introducing row-wise and column-wise matrix proximal functions and analyzing the resulting regret trade-off, we derive Row-wise Matrix AdaGrad (Row-AdaGrad) and Column-wise Matrix AdaGrad (Column-AdaGrad), with adaptive scaling determined by the accumulated row-wise or column-wise gradient norms. We establish regret guarantees and show that these matrix-aware bounds can be strictly tighter than those of entry-wise AdaGrad under structured gradients. Experiments on matrix factorization and deep neural-network training further demonstrate the benefits of aligning adaptive scaling with matrix structure, including improved optimization stability and trainability at larger learning rates and greater network depths.
• Abstract（参考訳）: AdaGradやAdamのような適応最適化手法は現代のニューラルネットワークトレーニングで広く使われているが、適応スケーリングは主にベクトル値パラメータ用に設計されており、行列構造を明示的に利用していない。 最近の行列認識最適化は、構造化最適化の利点を示しているが、AdaGradに匹敵する行列認識適応性を導出するための一般的な理論的枠組みは、いまだに欠落している。 本研究では,行列値パラメータに対する適応的近位関数を持つ一般オンラインミラーDescentフレームワークを開発し,オンライン後悔最小化による行列認識適応最適化を導出するための原則的アプローチを提供する。 行ワイズ行列と列ワイズ行列の近位関数を導入し、結果として生じる後悔のトレードオフを解析することにより、列ワイズ行列 AdaGrad (Row-AdaGrad) とカラムワイズ行列 AdaGrad (Column-AdaGrad) を導出し、累積行ワイズあるいは列ワイズ勾配ノルムによって適応スケーリングを決定する。 我々は,これらの行列対応境界が,構造的勾配の下でのエントリーワイズ AdaGrad よりも厳密であることを示す。 行列分解とディープニューラルネットワークトレーニングの実験は、適応的なスケーリングとマトリックス構造を整合させることの利点をさらに証明している。

関連論文リスト

• Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization [54.723834588133165]
  我々は,演算子AMLによる行列変数を用いたオンライン線形最適化について検討した。 プロジェクションを避ける2つの効率的な手法でこのフレームワークをインスタンス化する。 両手法とも, クローズドフォーム更新はシャンプーの後悔と一致し, 計算コストを大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-02-09T03:09:47Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Dynamic Low-rank Approximation of Full-Matrix Preconditioner for Training Generalized Linear Models [43.79587815909472]
  AdaGramは効率の良い完全行列適応勾配更新である。 AdaGramは、ランク5とより小さいランク近似を使用する場合、より速く収束するか、対角アダプティブのパフォーマンスに適合する。 これは、大規模モデルにおける適応最適化のためのスケーラブルなソリューションとしてのAdaGramの可能性を示している。
  論文  参考訳（メタデータ） (2025-08-28T13:15:05Z)
• Efficient Adaptation of Pre-trained Vision Transformer underpinned by Approximately Orthogonal Fine-Tuning Strategy [57.54306942529943]
  約直交微調整(AOFT)による低ランク重量行列の表現法を提案する。 本手法は,下流画像分類タスクにおける競合性能を実現する。
  論文  参考訳（メタデータ） (2025-07-17T16:09:05Z)
• Spectral-factorized Positive-definite Curvature Learning for NN Training [39.296923519945814]
  Adam(W) や Shampoo のような訓練手法は正定値の曲率行列を学習し、プレコンディショニングの前に逆根を適用する。 スペクトル分解正定曲率推定を動的に適用するリーマン最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:07:04Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。