論文の概要: Layerwise LQR for Geometry-Aware Optimization of Deep Networks
- arxiv url: http://arxiv.org/abs/2605.04230v1
- Date: Tue, 05 May 2026 19:16:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.504496
- Title: Layerwise LQR for Geometry-Aware Optimization of Deep Networks
- Title（参考訳）: 深部ネットワークの幾何学的最適化のための層状LQR
- Abstract要約: 我々は,グローバルな階層的最適制御目標の下で,構造化逆プレコンディショナを学習するためのフレームワークであるLayerwise LQRを紹介する。
対角線、(E-)Kronecker-factored、または他の構造化された逆プレコンディショナーを学習するスケーラブルな緩和法を導出する。
ResNetsとTransformersの実験では、LLQRは最適化のダイナミクスを改善し、これらのゲインを最終的なテストパフォーマンスに変換する。
- 参考スコア（独自算出の注目度）: 38.84575015854741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geometry-aware optimizers such as Newton and natural gradient can improve conditioning in deep learning, but scalable variants such as K-FAC, Shampoo, and related preconditioners usually impose structural approximations early, often discarding cross-layer interactions induced by the network computation. We introduce Layerwise LQR (LLQR), a framework for learning structured inverse preconditioners under a global layerwise optimal-control objective. The starting point is an exact equivalence: the steepest-descent step under a broad class of divergence-induced quadratic models--including Newton, Gauss-Newton, Fisher/natural-gradient, and intermediate-layer metrics--can be written as a finite-horizon Linear Quadratic Regulator (LQR) problem. This formulation serves as a reference that exposes the layerwise dynamics and cost matrices encoding the original dense geometry. We then derive a scalable relaxation that learns diagonal, (E-)Kronecker-factored, or other structured inverse preconditioners by minimizing the LQR objective and reusing them across iterations. The resulting optimizer wraps standard methods while retaining a principled connection to second-order geometry, without forming or inverting the global curvature matrix. Experiments on ResNets and Transformers show that LLQR improves optimization dynamics and often translates these gains into improved final test performance, while adding only modest wall-clock overhead. It establishes LLQR as a practical framework for geometry-aware second-order methods and a reference for evaluating scalable approximations.
- Abstract（参考訳）: ニュートンや自然勾配のような幾何学的な最適化は、ディープラーニングにおける条件付けを改善することができるが、K-FACやシャンプーなどの拡張性のあるプレコンディショナーは、しばしばネットワーク計算によって引き起こされる層間相互作用を破棄する構造近似を早期に課す。
我々は,グローバルな階層的最適制御目標の下で,構造化逆プレコンディショナを学習するためのフレームワークであるLayerwise LQR(LLQR)を紹介する。
ニュートン、ガウス・ニュートン(英語版)、フィッシャー/自然勾配(英語版)、中間層計量を含む、広範に発散する二次モデルの最も急勾配のステップは、有限水平線形二次レギュレータ(英語版)(LQR)として記述できる。
この定式化は、元の密度幾何学を符号化する階層的ダイナミクスとコスト行列を公開する参照として機能する。
次に、LQRの目的を最小化し、反復で再利用することで、対角線、(E-)Kronecker-factoredや他の構造化された逆プレコンディショナーを学習するスケーラブルな緩和法を導出します。
結果のオプティマイザは、グローバルな曲率行列を形成・反転することなく、二階幾何学への原則的な接続を維持しながら、標準的なメソッドをラップする。
ResNetsとTransformersの実験では、LLQRは最適化のダイナミクスを改善し、これらのゲインを最終的なテストパフォーマンスに変換すると同時に、最小限のウォールクロックオーバーヘッドのみを追加することが示されている。
LLQRは幾何学を意識した二階法のための実践的なフレームワークであり、スケーラブルな近似を評価するための参照である。
関連論文リスト
- Hierarchical Grading in Large Language Models [0.0]
GLLM( Graded Large Language Models)を紹介する。
GLLMは変換器の表現空間に階調を付与するフレームワークである。
この構造は、階調ニューラルネットワークと階調変換器の理論を自己回帰言語モデルに拡張する。
論文 参考訳（メタデータ） (2026-07-23T20:14:48Z) - Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints [3.421126849736858]
核ノルム制約を通した低階構造を強制するために設計された幾何認識幾何学であるNucGDを紹介する。
スケーラブルなトレーニングを実現するため、非同期電力繰り返しによる効率的なSVDフリー更新ルールを導出する。
我々は、最小バッチサンプリングと運動量によって誘導される勾配ノイズの変動レベルが、期待される最大マージン解に対する収束をどう変調するかを特徴付ける、勾配最適化のダイナミクスの影響を実験的に分析する。
論文 参考訳（メタデータ） (2026-03-24T05:51:50Z) - GPU-friendly and Linearly Convergent First-order Methods for Certifying Optimal $k$-sparse GLMs [7.079949618914198]
ブランチ・アンド・バウンド(BnB)フレームワークは、パースペクティブ・リラクゼーションを使って最適性を証明できる。
これらの緩和を解く既存の手法は計算集約的であり、スケーラビリティを制限している。
我々は線形収束性と計算効率の両立した近位フレームワークを開発する。
論文 参考訳（メタデータ） (2026-03-01T22:26:09Z) - GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR [10.820638016337869]
RL更新部分空間の異方性と圧縮性を利用したGeoRAを提案する。
GeoRAは、幾何学的ミスアライメントによる最適化ボトルネックを緩和する。
主要な数学ベンチマークで確立された低ランクのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-14T10:41:34Z) - Noise-Adaptive Layerwise Learning Rates: Accelerating Geometry-Aware Optimization for Deep Neural Network Training [31.259303817974693]
幾何認識最適化アルゴリズム上に,雑音適応型層別学習率スキームを導入する。
提案手法は, 選択したLMOがフライ時に誘導する双対ノルムの勾配分散を推定する。
我々のアルゴリズムは鋭い収束率を達成する。
論文 参考訳（メタデータ） (2025-10-15T18:42:13Z) - Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods [50.070182958880146]
本稿では,事前条件付き行列ノルムの新たな概念を通じて,降下法,準ニュートン法,適応法を一般化する統一的枠組みを提案する。
この枠組みでは、行列パラメータ化設定におけるアフィンとスケール不変性の最初の体系的処理を提供する。
我々は、Muonのスペクトル幾何学とAdamスタイルのプレコンディショニングを組み合わせた、$ttMuAdam$と$texttMuAdam-SANIA$という2つの新しい方法を紹介した。
論文 参考訳（メタデータ） (2025-10-12T19:39:41Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。
そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。
SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文 参考訳（メタデータ） (2023-03-06T14:31:09Z) - Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳（メタデータ） (2022-05-03T09:23:07Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。