論文の概要: Binomial Gradient-Based Meta-Learning for Enhanced Meta-Gradient Estimation

• arxiv url: http://arxiv.org/abs/2604.13263v1
• Date: Tue, 14 Apr 2026 19:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.278372
• Title: Binomial Gradient-Based Meta-Learning for Enhanced Meta-Gradient Estimation
• Title（参考訳）: 二項グラディエントに基づくメタラーニングによるメタグラディエント推定の強化
• Authors: Yilang Zhang, Abraham Jaeger Mountain, Bingcong Li, Georgios B. Giannakis,
• Abstract要約: グラディエントベースのメタラーニング(GBML)は、新しいタスクの前に順応するために勾配降下に依存する。 既存の手法では、乱れたバックプロパゲーションによって先行パラメータ(メタグラディエント)の勾配を近似するが、大きな近似誤差を被る。 この研究は二項GBML (BinomGBML) を提案し、これはメタ階調推定のための二項展開に依存する。
• 参考スコア（独自算出の注目度）: 37.795850351021016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning offers a principled framework leveraging \emph{task-invariant} priors from related tasks, with which \emph{task-specific} models can be fine-tuned on downstream tasks, even with limited data records. Gradient-based meta-learning (GBML) relies on gradient descent (GD) to adapt the prior to a new task. Albeit effective, these methods incur high computational overhead that scales linearly with the number of GD steps. To enhance efficiency and scalability, existing methods approximate the gradient of prior parameters (meta-gradient) via truncated backpropagation, yet suffer large approximation errors. Targeting accurate approximation, this work puts forth binomial GBML (BinomGBML), which relies on a truncated binomial expansion for meta-gradient estimation. This novel expansion endows more information in the meta-gradient estimation via efficient parallel computation. As a running paradigm applied to model-agnostic meta-learning (MAML), the resultant BinomMAML provably enjoys error bounds that not only improve upon existing approaches, but also decay super-exponentially under mild conditions. Numerical tests corroborate the theoretical analysis and showcase boosted performance with slightly increased computational overhead.
• Abstract（参考訳）: メタラーニングは、関連するタスクから \emph{task-invariant} の事前値を活用する、原則化されたフレームワークを提供する。 グラディエントベースのメタラーニング(GBML)は、新しいタスクに先立って適応するために勾配降下(GD)に依存する。 有効ではあるが、これらの手法はGDステップの数と線形にスケールする高い計算オーバーヘッドを発生させる。 効率性とスケーラビリティを向上させるため、既存の手法では、乱れたバックプロパゲーションによって事前パラメータ(メタグラディエント)の勾配を近似するが、近似誤差が大きい。 正確な近似を目標とすると、この研究は二項GBML(BinomGBML)というメタ段階推定のための二項拡張に依存している。 この新たな拡張は、効率的な並列計算によるメタ勾配推定により多くの情報を与える。 モデルに依存しないメタラーニング(MAML)に適用される実行パラダイムとして、結果として得られるBinomMAMLは、既存のアプローチを改善するだけでなく、穏やかな条件下で超指数的に崩壊するエラー境界を確実に享受する。 数値実験は理論解析を裏付け、計算オーバーヘッドをわずかに増加させて性能を向上した。

関連論文リスト

• Directed-MAML: Meta Reinforcement Learning Algorithm with Task-directed Approximation [6.105325395844168]
  タスク指向メタRLアルゴリズムであるDirected-MAMLを提案する。 計算効率と収束速度において,Directed-MAMLがMAMLベースのベースラインを超えることを示す。
  論文  参考訳（メタデータ） (2025-09-30T19:42:15Z)
• Learnable Loss Geometries with Mirror Descent for Scalable and Convergent Meta-Learning [41.28925127311434]
  メタラーニングは、限られたデータレコードで新しいタスクを学ぶための原則化されたアプローチである。 本稿では,タスクごとのトレーニングの収束を高速化する新しいプレコンディショニング手法を提案する。 数ショットの学習データセットに対するテストは、新しいアルゴリズムの優れた経験的性能を示す。
  論文  参考訳（メタデータ） (2025-09-02T15:23:21Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Meta-Learning with Adjoint Methods [16.753336086160598]
  メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2021-10-16T01:18:50Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。