論文の概要: Gradient-EM Bayesian Meta-learning

• arxiv url: http://arxiv.org/abs/2006.11764v2
• Date: Wed, 18 Nov 2020 06:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:40:16.891993
• Title: Gradient-EM Bayesian Meta-learning
• Title（参考訳）: Gradient-EM Bayesianメタラーニング
• Authors: Yayi Zou, Xiaoqi Lu
• Abstract要約: ベイズメタラーニングの背後にある主要なアイデアは、階層的モデルのベイズ推論を経験的に行うことである。 本研究では、このフレームワークを様々な既存手法に拡張し、勾配-EMアルゴリズムに基づく変種を提案する。 正弦波回帰, 少数ショット画像分類, およびポリシーに基づく強化学習実験により, 本手法は計算コストを抑えて精度を向上するだけでなく, 不確実性に対しても頑健であることが示された。
• 参考スコア（独自算出の注目度）: 6.726255259929496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian meta-learning enables robust and fast adaptation to new tasks with uncertainty assessment. The key idea behind Bayesian meta-learning is empirical Bayes inference of hierarchical model. In this work, we extend this framework to include a variety of existing methods, before proposing our variant based on gradient-EM algorithm. Our method improves computational efficiency by avoiding back-propagation computation in the meta-update step, which is exhausting for deep neural networks. Furthermore, it provides flexibility to the inner-update optimization procedure by decoupling it from meta-update. Experiments on sinusoidal regression, few-shot image classification, and policy-based reinforcement learning show that our method not only achieves better accuracy with less computation cost, but is also more robust to uncertainty.
• Abstract（参考訳）: ベイズメタラーニングは、不確実性評価を伴う新しいタスクへの堅牢で高速な適応を可能にする。 ベイズメタラーニングの背後にある重要なアイデアは、階層モデルの経験的ベイズ推論である。 本研究では,gradient-emアルゴリズムに基づく変種の提案を行う前に,既存の手法を多種含むように拡張する。 提案手法は, 深層ニューラルネットワークを消費するメタ更新段階におけるバックプロパゲーション計算を回避し, 計算効率を向上させる。 さらに、メタ更新から切り離して内部更新最適化手順に柔軟性を提供する。 正弦波回帰, 少数ショット画像分類, およびポリシーに基づく強化学習実験により, 本手法は計算コストを抑えて精度を向上するだけでなく, 不確実性に対しても頑健であることが示された。

関連論文リスト

• Enhancing binary classification: A new stacking method via leveraging computational geometry [5.906199156511947]
  本稿では,計算幾何学的手法,特に最大重み付き矩形問題の解法を統合した新しいメタモデルを提案する。 本手法は複数のオープンデータセットを用いて評価し,その安定性と精度の向上を示す統計解析を行った。 本手法は, アンサンブル学習の積み重ねだけでなく, 病院の健康評価評価や銀行信用評価システムなど, 様々な実世界の応用にも応用できる。
  論文  参考訳（メタデータ） (2024-10-30T06:11:08Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
  ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。 提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-10-21T10:44:23Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• A contrastive rule for meta-learning [1.3124513975412255]
  メタ学習アルゴリズムは、一連のタスクに存在する正規性を活用して、補助学習プロセスのパフォーマンスを高速化し改善する。 平衡伝播に基づく勾配に基づくメタラーニングアルゴリズムを提案する。 我々は、その性能に関する理論的境界を確立し、標準ベンチマークとニューラルネットワークアーキテクチャのセットで実験を行う。
  論文  参考訳（メタデータ） (2021-04-04T19:45:41Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Covariate Distribution Aware Meta-learning [3.494950334697974]
  本稿では,有意義な緩和を導入することで,計算可能なメタ学習アルゴリズムを提案する。 一般的な分類ベンチマークに基づいて,ブートストラップによるメタラーニングベースラインに対するアルゴリズムの優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-06T05:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。