論文の概要: Large-Scale Riemannian Meta-Optimization via Subspace Adaptation
- arxiv url: http://arxiv.org/abs/2501.15235v2
- Date: Thu, 06 Feb 2025 01:35:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 17:44:00.692289
- Title: Large-Scale Riemannian Meta-Optimization via Subspace Adaptation
- Title（参考訳）: 部分空間適応による大規模リーマン的メタ最適化
- Authors: Peilin Yu, Yuwei Wu, Zhi Gao, Xiaomeng Fan, Yunde Jia,
- Abstract要約: 本稿では,大規模最適化におけるメモリ負荷を大幅に削減する効率的な手法を提案する。
本手法は,主流のディープニューラルネットワークを最適化する場合,モデルメモリ消費量を6桁に削減する。
- 参考スコア（独自算出の注目度）: 39.75524650528829
- License:
- Abstract: Riemannian meta-optimization provides a promising approach to solving non-linear constrained optimization problems, which trains neural networks as optimizers to perform optimization on Riemannian manifolds. However, existing Riemannian meta-optimization methods take up huge memory footprints in large-scale optimization settings, as the learned optimizer can only adapt gradients of a fixed size and thus cannot be shared across different Riemannian parameters. In this paper, we propose an efficient Riemannian meta-optimization method that significantly reduces the memory burden for large-scale optimization via a subspace adaptation scheme. Our method trains neural networks to individually adapt the row and column subspaces of Riemannian gradients, instead of directly adapting the full gradient matrices in existing Riemannian meta-optimization methods. In this case, our learned optimizer can be shared across Riemannian parameters with different sizes. Our method reduces the model memory consumption by six orders of magnitude when optimizing an orthogonal mainstream deep neural network (e.g., ResNet50). Experiments on multiple Riemannian tasks show that our method can not only reduce the memory consumption but also improve the performance of Riemannian meta-optimization.
- Abstract（参考訳）: リーマンのメタ最適化は、ニューラルネットワークを最適化者として訓練し、リーマン多様体上で最適化を行う非線形制約最適化問題の解決に有望なアプローチを提供する。
しかし、既存のリーマンのメタ最適化手法は大規模な最適化設定において大きなメモリフットプリントを占めるため、学習した最適化者は固定サイズの勾配にのみ適応することができ、したがって異なるリーマンのパラメータ間で共有することはできない。
本稿では,部分空間適応方式による大規模最適化において,メモリ負荷を大幅に低減する効率的なリーマンメタ最適化手法を提案する。
我々の手法は,既存のリーマン的メタ最適化法において,完全な勾配行列を直接適応させる代わりに,リーマン的勾配の行と列の部分空間を個別に適応するようにニューラルネットワークを訓練する。
この場合、学習したオプティマイザは異なる大きさのリーマンパラメータ間で共有することができる。
本手法は,直交型主流ディープニューラルネットワーク(ResNet50など)を最適化する場合,モデルメモリ使用量を6桁削減する。
複数のリーマン的タスクの実験により、我々の手法はメモリ消費を減らすだけでなく、リーマン的メタ最適化の性能を向上させることができることが示された。
関連論文リスト
- Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。
本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。
様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文 参考訳（メタデータ） (2024-05-22T20:49:01Z) - Streamlining in the Riemannian Realm: Efficient Riemannian Optimization
with Loopless Variance Reduction [4.578425862931332]
本研究はユークリッドとリーマンの設定の両方で用いられる決定的な還元機構に焦点を当てる。
ユークリッド法により動機付け, コインフリップによって引き起こされる計算で外ループを置換するR法を導入する。
フレームワークとしてR-を用いることで、様々な重要な設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2024-03-11T12:49:37Z) - FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
論文 参考訳（メタデータ） (2024-02-28T10:57:30Z) - Riemannian Optimization for Variance Estimation in Linear Mixed Models [0.0]
パラメータ空間の内在的幾何を利用した線形混合モデルにおけるパラメータ推定について、全く新しい見方をとる。
提案手法は,既存手法に比べて分散パラメータ推定精度が高い。
論文 参考訳（メタデータ） (2022-12-18T13:08:45Z) - On Riemannian Approach for Constrained Optimization Model in Extreme
Classification Problems [2.7436792484073638]
制約付き最適化問題は行列多様体上の最適化問題として定式化される。
提案手法は,複数の実世界の大規模マルチラベルデータセットで検証される。
論文 参考訳（メタデータ） (2021-09-30T11:28:35Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳（メタデータ） (2021-03-27T19:56:00Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳（メタデータ） (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。