論文の概要: Hypernetwork approach to Bayesian MAML

• arxiv url: http://arxiv.org/abs/2210.02796v2
• Date: Wed, 30 Aug 2023 21:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 21:18:11.562495
• Title: Hypernetwork approach to Bayesian MAML
• Title（参考訳）: ベイジアンMAMLへのハイパーネットワークアプローチ
• Authors: Piotr Borycki, Piotr Kubacki, Marcin Przewi\k{e}\'zlikowski, Tomasz Ku\'smierczyk, Jacek Tabor, Przemys{\l}aw Spurek
• Abstract要約: 本稿では,ベイジアンHMAML(Bayesian HMAML)という,ベイジアンMAMLの新しいフレームワークを提案する。 普遍重みをポイントワイズで学習するが、特定のタスクに適応すると確率構造が付加される。
• 参考スコア（独自算出の注目度）: 13.012692001087617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main goal of Few-Shot learning algorithms is to enable learning from small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the shared universal weights of a meta-model, which are then adapted for specific tasks. However, the method suffers from over-fitting and poorly quantifies uncertainty due to limited data size. Bayesian approaches could, in principle, alleviate these shortcomings by learning weight distributions in place of point-wise weights. Unfortunately, previous modifications of MAML are limited due to the simplicity of Gaussian posteriors, MAML-like gradient-based weight updates, or by the same structure enforced for universal and adapted weights. In this paper, we propose a novel framework for Bayesian MAML called BayesianHMAML, which employs Hypernetworks for weight updates. It learns the universal weights point-wise, but a probabilistic structure is added when adapted for specific tasks. In such a framework, we can use simple Gaussian distributions or more complicated posteriors induced by Continuous Normalizing Flows.
• Abstract（参考訳）: Few-Shot学習アルゴリズムの主な目標は、少量のデータから学習できるようにすることである。 最も人気がありエレガントなFew-Shot学習アプローチの1つは、モデルに依存しないメタラーニング(MAML)である。 この手法の主な考え方は、メタモデルの共有普遍重みを学習し、特定のタスクに適応させることである。 しかし、この方法は過剰フィッティングに苦しめられ、データサイズが制限されたため不確実性が低かった。 ベイズ的アプローチは原則として、点の重みの代わりに重み分布を学習することでこれらの欠点を軽減することができる。 残念なことに、MAMLの以前の変更は、ガウス後部の単純さ、MAMLのような勾配に基づく重み更新、あるいは普遍的および適応的な重み付けのために強制される同じ構造によって制限されている。 本稿では,重み更新にHypernetworksを利用するBayesian HMAMLという,ベイジアンMAMLの新しいフレームワークを提案する。 普遍重みをポイントワイズで学習するが、特定のタスクに適応すると確率構造が付加される。 そのような枠組みでは、単純ガウス分布や連続正規化流によって引き起こされるより複雑な後流を用いることができる。

関連論文リスト

• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
  キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。 そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。 我々はベイズ学習を利用してモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2022-06-23T03:05:12Z)
• HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks [0.0]
  Few-Shot Learningは、これまで見つからなかったタスクに容易に適応できるモデルをトレーニングすることを目的としている。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。 本稿では,更新手順のトレーニングをモデルの一部として行うHyperMAMLを提案する。
  論文  参考訳（メタデータ） (2022-05-31T12:31:21Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)
• Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
  モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。 このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
  論文  参考訳（メタデータ） (2020-10-28T01:10:11Z)
• Weighted Meta-Learning [21.522768804834616]
  モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。 重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-20T19:00:42Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。