論文の概要: Learnable Loss Geometries with Mirror Descent for Scalable and Convergent Meta-Learning

• arxiv url: http://arxiv.org/abs/2509.02418v1
• Date: Tue, 02 Sep 2025 15:23:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.083525
• Title: Learnable Loss Geometries with Mirror Descent for Scalable and Convergent Meta-Learning
• Title（参考訳）: 拡張性・収束性メタラーニングのためのミラーディフレッシュによる学習可能な損失測地
• Authors: Yilang Zhang, Bingcong Li, Georgios B. Giannakis,
• Abstract要約: メタラーニングは、限られたデータレコードで新しいタスクを学ぶための原則化されたアプローチである。 本稿では,タスクごとのトレーニングの収束を高速化する新しいプレコンディショニング手法を提案する。 数ショットの学習データセットに対するテストは、新しいアルゴリズムの優れた経験的性能を示す。
• 参考スコア（独自算出の注目度）: 41.28925127311434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Utilizing task-invariant knowledge acquired from related tasks as prior information, meta-learning offers a principled approach to learning a new task with limited data records. Sample-efficient adaptation of this prior information is a major challenge facing meta-learning, and plays an important role because it facilitates training the sought task-specific model with just a few optimization steps. Past works deal with this challenge through preconditioning that speeds up convergence of the per-task training. Though effective in representing locally quadratic loss curvatures, simple linear preconditioning can be hardly potent with complex loss geometries. Instead of relying on a quadratic distance metric, the present contribution copes with complex loss metrics by learning a versatile distance-generating function, which induces a nonlinear mirror map to effectively capture and optimize a wide range of loss geometries. With suitable parameterization, this generating function is effected by an expressive neural network that is provably a valid distance. Analytical results establish convergence of not only the proposed method, but also all meta-learning approaches based on preconditioning. To attain gradient norm less than $\epsilon$, the convergence rate of $\mathcal{O}(\epsilon^{-2})$ is on par with standard gradient-based meta-learning methods. Numerical tests on few-shot learning datasets demonstrate the superior empirical performance of the novel algorithm, as well as its rapid per-task convergence, which markedly reduces the number of adaptation steps, hence also accommodating large-scale meta-learning models.
• Abstract（参考訳）: 関連するタスクから得られたタスク不変知識を事前情報として利用することにより、メタラーニングは、限られたデータレコードで新しいタスクを学ぶための原則化されたアプローチを提供する。 この事前情報のサンプル効率適応はメタラーニングに直面する大きな課題であり、いくつかの最適化ステップで要求されたタスク固有モデルのトレーニングを容易にするため、重要な役割を果たす。 過去の作業では、タスク毎のトレーニングの収束をスピードアップするプレコンディショニングを通じて、この課題に対処しています。 局所的な二次的損失曲率を表すのに効果的であるが、単純な線形プレコンディショニングは複雑な損失測度ではほとんど強力ではない。 このコントリビューションは、二次距離メートル法に頼るのではなく、多目的距離生成関数を学習することで複雑な損失メトリクスに対処し、非線形ミラーマップを誘導して、幅広い損失測地を効果的に捕捉し、最適化する。 適切なパラメータ化により、この生成関数は、確実に有効な距離である表現型ニューラルネットワークによって影響される。 分析結果は,提案手法だけでなく,事前条件に基づくメタラーニング手法の収束性も確立する。 勾配ノルムを$\epsilon$以下にするために、$\mathcal{O}(\epsilon^{-2})$の収束率は標準勾配に基づくメタ学習法と同等である。 数ショットの学習データセットの数値実験では、新しいアルゴリズムの優れた経験的性能と、高速なタスク毎の収束が示され、適応ステップの数を著しく減らし、大規模なメタ学習モデルも収容できる。

関連論文リスト

• Meta-Learning with Versatile Loss Geometries for Fast Adaptation Using Mirror Descent [44.56938629818211]
  メタ学習における根本的な課題は、タスク固有のモデルをトレーニングするために、抽出したモデルを迅速に“適応”する方法である。 既存のアプローチは、タスク毎のトレーニングプロセスの収束性を高めるプリコンディショナーを使用して、この課題に対処する。 この寄与は非線形ミラーマップを学習することでこの制限に対処し、多角距離メートル法を誘導する。
  論文  参考訳（メタデータ） (2023-12-20T23:45:06Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• A Sample Complexity Separation between Non-Convex and Convex Meta-Learning [42.51788412283446]
  メタラーニングの流行の1つは、サンプルが少ない新しいタスクを解くのに使える一般的な方法として、多くのタスクから学ぶことである。 本稿では,特に線形ネットワークのサブスペースにおいて,最適化ブラックボックスを理解することが重要であることを示す。 これらの手法の分析により、データを投影すべき部分空間をメタ学習できることが明らかになった。
  論文  参考訳（メタデータ） (2020-02-25T20:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。