論文の概要: FORML: A Riemannian Hessian-free Method for Meta-learning with
Orthogonality Constraint
- arxiv url: http://arxiv.org/abs/2402.18605v1
- Date: Wed, 28 Feb 2024 10:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 17:13:34.441840
- Title: FORML: A Riemannian Hessian-free Method for Meta-learning with
Orthogonality Constraint
- Title(参考訳): FORML:直交制約を伴うメタラーニングのためのリーマン的ヘッセンフリー手法
- Authors: Hadi Tabealhojeh, Soumava Kumar Roy, Peyman Adibi and Hossein
Karshenas
- Abstract要約: 本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
- 参考スコア(独自算出の注目度): 5.197619725604242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-learning problem is usually formulated as a bi-level optimization in
which the task-specific and the meta-parameters are updated in the inner and
outer loops of optimization, respectively. However, performing the optimization
in the Riemannian space, where the parameters and meta-parameters are located
on Riemannian manifolds is computationally intensive. Unlike the Euclidean
methods, the Riemannian backpropagation needs computing the second-order
derivatives that include backward computations through the Riemannian operators
such as retraction and orthogonal projection. This paper introduces a
Hessian-free approach that uses a first-order approximation of derivatives on
the Stiefel manifold. Our method significantly reduces the computational load
and memory footprint. We show how using a Stiefel fully-connected layer that
enforces orthogonality constraint on the parameters of the last classification
layer as the head of the backbone network, strengthens the representation reuse
of the gradient-based meta-learning methods. Our experimental results across
various few-shot learning datasets, demonstrate the superiority of our proposed
method compared to the state-of-the-art methods, especially MAML, its Euclidean
counterpart.
- Abstract(参考訳): メタラーニング問題は、通常、内部および外部の最適化ループでタスク固有とメタパラメータを更新する二段階最適化として定式化される。
しかし、リーマン多様体上のパラメータとメタパラメータが位置するリーマン空間における最適化の実行は計算集約的である。
ユークリッド法とは異なり、リーマンのバックプロパゲーションは、引き算や直交射影のようなリーマン作用素を通しての逆計算を含む二階微分を計算する必要がある。
本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。
本手法は計算負荷とメモリフットプリントを大幅に削減する。
本稿では,最後の分類層のパラメータの直交制約をバックボーンネットワークのヘッダとして適用したStiefel完全連結層を用いて,勾配に基づくメタ学習手法の表現再利用を強化する方法を示す。
実験の結果,提案手法が最先端の手法,特にユークリッドの手法であるMAMLと比較して優れていることを示す。
関連論文リスト
- Posterior Contraction Rates for Mat\'ern Gaussian Processes on
Riemannian Manifolds [51.68005047958965]
我々は,本質的なガウス過程が実際により優れた性能を発揮することを示す。
我々の研究は、データ効率の異なるレベルを区別するために、よりきめ細かい分析が必要であることを示している。
論文 参考訳(メタデータ) (2023-09-19T20:30:58Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳(メタデータ) (2023-08-21T08:02:16Z) - Decentralized Riemannian natural gradient methods with Kronecker-product
approximations [11.263837420265594]
本稿では,分散化多様体最適化問題の解法として,効率的な分散化自然勾配降下法(DRNGD)を提案する。
クロネッカー因子を介して通信を行うことにより、RFIMの高品質な近似を低コストで得ることができる。
論文 参考訳(メタデータ) (2023-03-16T19:36:31Z) - Riemannian Optimization for Variance Estimation in Linear Mixed Models [0.0]
パラメータ空間の内在的幾何を利用した線形混合モデルにおけるパラメータ推定について、全く新しい見方をとる。
提案手法は,既存手法に比べて分散パラメータ推定精度が高い。
論文 参考訳(メタデータ) (2022-12-18T13:08:45Z) - On a class of geodesically convex optimization problems solved via
Euclidean MM methods [50.428784381385164]
ユークリッド凸化関数の違いは、統計学と機械学習の異なるタイプの問題の違いとして記述できることを示す。
最終的に、より広い範囲、より広い範囲の作業を支援するのです。
論文 参考訳(メタデータ) (2022-06-22T23:57:40Z) - On Riemannian Approach for Constrained Optimization Model in Extreme
Classification Problems [2.7436792484073638]
制約付き最適化問題は行列多様体上の最適化問題として定式化される。
提案手法は,複数の実世界の大規模マルチラベルデータセットで検証される。
論文 参考訳(メタデータ) (2021-09-30T11:28:35Z) - Automatic differentiation for Riemannian optimization on low-rank matrix
and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。
低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文 参考訳(メタデータ) (2021-03-27T19:56:00Z) - On the Efficient Implementation of the Matrix Exponentiated Gradient
Algorithm for Low-Rank Matrix Optimization [26.858608065417663]
スペクトル上の凸最適化は、機械学習、信号処理、統計学に重要な応用がある。
低ランク行列による最適化に適したMEGの効率的な実装を提案し、各イテレーションで単一の低ランクSVDのみを使用する。
また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。
論文 参考訳(メタデータ) (2020-12-18T19:14:51Z) - Mat\'ern Gaussian processes on Riemannian manifolds [81.15349473870816]
ガウス過程の広く用いられるマタン類を一般化する方法を示す。
また、Mat'ern から広く用いられる2乗指数過程への一般化も拡張する。
論文 参考訳(メタデータ) (2020-06-17T21:05:42Z) - Riemannian Stochastic Proximal Gradient Methods for Nonsmooth
Optimization over the Stiefel Manifold [7.257751371276488]
R-ProxSGDとR-ProxSPBは、近位SGDと近位SpiderBoostの一般化である。
R-ProxSPBアルゴリズムは、オンラインの場合で$O(epsilon-3)$ IFOs、有限サムの場合は$O(n+sqrtnepsilon-3)$ IFOsである。
論文 参考訳(メタデータ) (2020-05-03T23:41:35Z) - Learning to Guide Random Search [111.71167792453473]
我々は、潜在低次元多様体上の高次元関数の微分自由最適化を考える。
最適化を行いながらこの多様体を学習するオンライン学習手法を開発した。
本研究では,連続最適化ベンチマークと高次元連続制御問題について実験的に評価する。
論文 参考訳(メタデータ) (2020-04-25T19:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。