論文の概要: Riemannian Geometric-based Meta Learning

• arxiv url: http://arxiv.org/abs/2503.10993v1
• Date: Fri, 14 Mar 2025 01:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:30.909511
• Title: Riemannian Geometric-based Meta Learning
• Title（参考訳）: リーマン幾何学に基づくメタラーニング
• Authors: JuneYoung Park, YuMi Lee, Tae-Joon Kim, Jang-Hwan Choi,
• Abstract要約: 「学習への学習」は、最小限のデータでモデルが新しいタスクに迅速に適応できるようにすることを目的としている。 Model-Agnostic Meta-Learning (MAML)のような従来の手法は、複雑な学習力学を捉えるのに苦労することが多い。 シュティーフェル多様体内を最適化することによりリーマン幾何学を統合するシュティーフェル-MAMLを提案する。
• 参考スコア（独自算出の注目度）: 8.365106891566725
• License:
• Abstract: Meta-learning, or "learning to learn," aims to enable models to quickly adapt to new tasks with minimal data. While traditional methods like Model-Agnostic Meta-Learning (MAML) optimize parameters in Euclidean space, they often struggle to capture complex learning dynamics, particularly in few-shot learning scenarios. To address this limitation, we propose Stiefel-MAML, which integrates Riemannian geometry by optimizing within the Stiefel manifold, a space that naturally enforces orthogonality constraints. By leveraging the geometric structure of the Stiefel manifold, we improve parameter expressiveness and enable more efficient optimization through Riemannian gradient calculations and retraction operations. We also introduce a novel kernel-based loss function defined on the Stiefel manifold, further enhancing the model's ability to explore the parameter space. Experimental results on benchmark datasets--including Omniglot, Mini-ImageNet, FC-100, and CUB--demonstrate that Stiefel-MAML consistently outperforms traditional MAML, achieving superior performance across various few-shot learning tasks. Our findings highlight the potential of Riemannian geometry to enhance meta-learning, paving the way for future research on optimizing over different geometric structures.
• Abstract（参考訳）: メタラーニング(メタラーニング、メタラーニング・トゥ・ラーニング)とは、モデルが最小限のデータで新しいタスクに迅速に適応できるようにすることである。 Model-Agnostic Meta-Learning (MAML)のような従来の手法はユークリッド空間のパラメータを最適化するが、特に数ショットの学習シナリオにおいて、複雑な学習ダイナミクスを捉えるのに苦労することが多い。 この制限に対処するために、自然に直交制約を課す空間であるスティーフェル多様体内を最適化することによりリーマン幾何学を統合するスティーフェル-MAMLを提案する。 シュティーフェル多様体の幾何学的構造を利用することで、パラメータ表現性を改善し、リーマン勾配計算とリトラクション演算によるより効率的な最適化を可能にする。 また、Stiefel多様体上に定義された新しいカーネルベースの損失関数を導入し、パラメータ空間を探索するモデルの能力をさらに強化する。 Omniglot、Mini-ImageNet、FC-100、CUB-demonstrateを含むベンチマークデータセットの実験結果によると、Stiefel-MAMLは従来のMAMLより一貫して優れており、様々な数発の学習タスクで優れたパフォーマンスを実現している。 我々の研究は、メタラーニングを強化するためにリーマン幾何学の可能性を浮き彫りにし、様々な幾何学構造を最適化する将来の研究の道を開く。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
  我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。 SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。 回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
  論文  参考訳（メタデータ） (2024-09-28T18:38:21Z)
• FORML: A Riemannian Hessian-free Method for Meta-learning on Stiefel Manifolds [4.757859522106933]
  本稿では、スティーフェル多様体上の微分の1次近似を用いたヘッセンフリーアプローチを提案する。 本手法は計算負荷とメモリフットプリントを大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T10:57:30Z)
• Automatic Parameterization for Aerodynamic Shape Optimization via Deep Geometric Learning [60.69217130006758]
  空力形状最適化のための形状パラメータ化を完全に自動化する2つの深層学習モデルを提案する。 どちらのモデルも、深い幾何学的学習を通じてパラメータ化し、人間の事前知識を学習された幾何学的パターンに埋め込むように最適化されている。 2次元翼の形状最適化実験を行い、2つのモデルに適用可能なシナリオについて論じる。
  論文  参考訳（メタデータ） (2023-05-03T13:45:40Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Adaptive Log-Euclidean Metrics for SPD Matrix Learning [73.12655932115881]
  広く使われているログユークリッド計量(LEM)を拡張した適応ログユークリッド計量(ALEM)を提案する。 実験および理論的結果から,SPDニューラルネットワークの性能向上における提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-03-26T18:31:52Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Affinity guided Geometric Semi-Supervised Metric Learning [27.955068939695042]
  この動機は、線形マハラノビス計量を学習する古典的なSSDMLアプローチとは別に、ディープSSDMLは研究されていないという事実から来ている。 まず,既存のSSDMLメソッドを深層に拡張し,その限界を克服する新しい手法を提案する。 新たな親和性伝播に基づく三重項マイニング手法を用いたSSDML法は,競合他社よりも優れている。
  論文  参考訳（メタデータ） (2020-02-27T19:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。