論文の概要: Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks
- arxiv url: http://arxiv.org/abs/2410.01476v2
- Date: Wed, 23 Oct 2024 12:53:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-04 17:34:40.176840
- Title: Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks
- Title（参考訳）: 回帰課題に対するラプラス近似によるメタラーニングのばらつき低減
- Authors: Alfredo Reichlin, Gustaf Tegnér, Miguel Vasco, Hang Yin, Mårten Björkman, Danica Kragic,
- Abstract要約: 勾配に基づくメタラーニングにおける分散化の問題に対処する。
本稿では,各支持点を個別に重み付けすることで,勾配推定のばらつきを低減する手法を提案する。
- 参考スコア（独自算出の注目度）: 23.33263252557512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a finite set of sample points, meta-learning algorithms aim to learn an optimal adaptation strategy for new, unseen tasks. Often, this data can be ambiguous as it might belong to different tasks concurrently. This is particularly the case in meta-regression tasks. In such cases, the estimated adaptation strategy is subject to high variance due to the limited amount of support data for each task, which often leads to sub-optimal generalization performance. In this work, we address the problem of variance reduction in gradient-based meta-learning and formalize the class of problems prone to this, a condition we refer to as \emph{task overlap}. Specifically, we propose a novel approach that reduces the variance of the gradient estimate by weighing each support point individually by the variance of its posterior over the parameters. To estimate the posterior, we utilize the Laplace approximation, which allows us to express the variance in terms of the curvature of the loss landscape of our meta-learner. Experimental results demonstrate the effectiveness of the proposed method and highlight the importance of variance reduction in meta-learning.
- Abstract（参考訳）: 有限個のサンプルポイントを与えられたメタラーニングアルゴリズムは、新しい、目に見えないタスクに対する最適な適応戦略を学ぶことを目的としている。
多くの場合、このデータは異なるタスクに同時に属する可能性があるため、曖昧である。
これは特にメタ回帰タスクではそうである。
このような場合、推定適応戦略は各タスクに対するサポートデータの限られた量によって高いばらつきを伴い、しばしば準最適一般化性能をもたらす。
本研究では,勾配に基づくメタラーニングにおける分散化の問題に対処し,それに伴う問題のクラスを形式化し,これを「emph{task overlap}」と呼ぶ。
具体的には,各支持点をパラメータ上の後方の分散によって個別に重み付けすることで,勾配推定のばらつきを低減する手法を提案する。
後部を推定するためにLaplace近似を使い、メタラーナーの損失景観の曲率を表現できる。
実験により,提案手法の有効性を実証し,メタラーニングにおける分散化の重要性を強調した。
関連論文リスト
- Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning [19.850893012601638]
連続学習は、前のタスクから得た知識を忘れずに、一連のタスクを逐次学習することを目的としている。
本稿では,Hessian Aware Low-Rank Perturbationアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-11-26T01:44:01Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - An Investigation of the Bias-Variance Tradeoff in Meta-Gradients [53.28925387487846]
ヘッセン推定は常にバイアスを追加し、メタ階調推定に分散を加えることもできる。
提案手法は, 乱れたバックプロパゲーションとサンプリング補正から生じるバイアスとばらつきのトレードオフについて検討する。
論文 参考訳（メタデータ） (2022-09-22T20:33:05Z) - Adaptive Meta-learner via Gradient Similarity for Few-shot Text
Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。
いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文 参考訳（メタデータ） (2022-09-10T16:14:53Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - An Information-Theoretic Analysis of the Impact of Task Similarity on
Meta-Learning [44.320945743871285]
メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。
私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
論文 参考訳（メタデータ） (2021-01-21T01:38:16Z) - A Distribution-Dependent Analysis of Meta-Learning [13.24264919706183]
メタラーニング理論の鍵となる問題は、タスク分布が伝達リスクにどのように影響するかを理解することである。
本稿では,任意のアルゴリズムの転送リスクに対して,分布依存性の低い境界を与える。
バイアス付き正規化回帰法(英語版)と呼ばれる新しい重み付きバージョンは、これらの下界を固定定数係数に一致させることができることを示す。
論文 参考訳（メタデータ） (2020-10-31T19:36:15Z) - Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。
本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2020-04-13T10:47:02Z) - Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。
広い損失関数族に対する領域適応のための新しい一般化境界を導出する。
また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
論文 参考訳（メタデータ） (2009-02-19T18:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。