Fugu-MT 論文翻訳(概要): Hypernetwork approach to Bayesian MAML

論文の概要: Hypernetwork approach to Bayesian MAML

arxiv url: http://arxiv.org/abs/2210.02796v1
Date: Thu, 6 Oct 2022 10:14:41 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 15:44:02.792417
Title: Hypernetwork approach to Bayesian MAML
Title（参考訳）: ベイジアンMAMLへのハイパーネットワークアプローチ
Authors: Piotr Borycki, Piotr Kubacki, Marcin Przewi\k{e}\'zlikowski, Tomasz Ku\'smierczyk, Jacek Tabor, Przemys{\l}aw Spurek
Abstract要約: 少数のショット学習アルゴリズムは、少量のデータから学習を可能にする。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。本稿では,ベイズ的原理とHypernetworks for MAMLを併用した,ベイズ的MAMLの新たな一般化を提案する。
参考スコア（独自算出の注目度）: 11.443670270072685
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The main goal of Few-Shot learning algorithms is to enable learning from small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn shared universal weights of a meta-model, which then are adapted for specific tasks. However, due to limited data size, the method suffers from over-fitting and poorly quantifies uncertainty. Bayesian approaches could, in principle, alleviate these shortcomings by learning weight distributions in place of point-wise weights. Unfortunately, previous Bayesian modifications of MAML are limited in a way similar to the classic MAML, e.g., task-specific adaptations must share the same structure and can not diverge much from the universal meta-model. Additionally, task-specific distributions are considered as posteriors to the universal distributions working as priors, and optimizing them jointly with gradients is hard and poses a risk of getting stuck in local optima. In this paper, we propose BayesianHyperShot, a novel generalization of Bayesian MAML, which employs Bayesian principles along with Hypernetworks for MAML. We achieve better convergence than the previous methods by classically learning universal weights. Furthermore, Bayesian treatment of the specific tasks enables uncertainty quantification, and high flexibility of task adaptations is achieved using Hypernetworks instead of gradient-based updates. Consequently, the proposed approach not only improves over the previous methods, both classic and Bayesian MAML in several standard Few-Shot learning benchmarks but also benefits from the properties of the Bayesian framework.
Abstract（参考訳）: Few-Shot学習アルゴリズムの主な目標は、少量のデータから学習できるようにすることである。最も人気がありエレガントなFew-Shot学習アプローチの1つは、モデルに依存しないメタラーニング(MAML)である。この手法の主な考え方は、メタモデルの共有普遍重みを学習し、特定のタスクに適応させることである。しかし、データサイズが限られているため、この手法は過度に適合し、不確実性を十分に定量化する。ベイズ的アプローチは原則として、点の重みの代わりに重み分布を学習することでこれらの欠点を軽減することができる。残念なことに、以前のベイズによるMAMLの変更は、従来のMAMLと似た方法で制限されている。さらに、タスク固有の分布は、前もって働く普遍分布の後方と見なされ、それらを勾配と共同で最適化することは困難であり、局所的なオプティマで立ち往生する危険性がある。本稿では,mamlのためのハイパーネットワークとともにベイズ原理を用いた,ベイズmamlの新しい一般化であるベイズハイパーショットを提案する。古典的に普遍的な重みを学習することで,従来の手法よりも収束性が向上した。さらに、特定のタスクのベイズ処理は不確実性定量化を可能にし、タスク適応の柔軟性は勾配ベースの更新ではなくハイパーネットワークを用いて達成される。その結果、提案手法は従来の手法、例えばいくつかの標準的なFew-Shot学習ベンチマークにおける古典的およびベイズ的MAMLよりも改善されているだけでなく、ベイズ的フレームワークの特性からも恩恵を受けている。

関連論文リスト

Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Content Popularity Prediction Based on Quantized Federated Bayesian Learning in Fog Radio Access Networks [76.16527095195893]
キャッシュ可能なフォグラジオアクセスネットワーク(F-RAN)におけるコンテンツ人気予測問題について検討する。そこで本研究では,コンテンツ要求パターンをモデル化するためのガウス過程に基づく回帰器を提案する。我々はベイズ学習を利用してモデルパラメータを訓練する。
論文参考訳（メタデータ） (2022-06-23T03:05:12Z)
HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks [0.0]
Few-Shot Learningは、これまで見つからなかったタスクに容易に適応できるモデルをトレーニングすることを目的としている。 Model-Agnostic Meta-Learning (MAML)は、Few-Shot学習の最も一般的なアプローチの1つである。本稿では,更新手順のトレーニングをモデルの一部として行うHyperMAMLを提案する。
論文参考訳（メタデータ） (2022-05-31T12:31:21Z)
Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-06-09T08:47:58Z)
Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
論文参考訳（メタデータ） (2021-03-16T12:53:09Z)
B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
論文参考訳（メタデータ） (2021-01-01T09:19:48Z)
Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文参考訳（メタデータ） (2020-12-03T02:07:43Z)
Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
論文参考訳（メタデータ） (2020-10-31T08:05:34Z)
Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
論文参考訳（メタデータ） (2020-10-28T01:10:11Z)
Weighted Meta-Learning [21.522768804834616]
モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-03-20T19:00:42Z)
Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
論文参考訳（メタデータ） (2020-03-04T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。