Fugu-MT 論文翻訳(概要): A Hierarchical Bayesian Model for Deep Few-Shot Meta Learning

論文の概要: A Hierarchical Bayesian Model for Deep Few-Shot Meta Learning

arxiv url: http://arxiv.org/abs/2306.09702v1
Date: Fri, 16 Jun 2023 09:13:25 GMT
ステータス: 処理完了
システム内更新日: 2023-06-19 14:29:50.006589
Title: A Hierarchical Bayesian Model for Deep Few-Shot Meta Learning
Title（参考訳）: 深層ショットメタ学習のための階層型ベイズモデル
Authors: Minyoung Kim and Timothy Hospedales
Abstract要約: 本稿では,タスク/エポゾネートを多量(おそらく無限)で学習するための新しい階層型ベイズモデルを提案する。エピソード特異的なターゲット生成過程をモデル化するために、エピソードワイドなランダム変数を考える。局所的な後続分布に対する近似閉形式解により、この1回反復最適化が実現可能であることを示す。
参考スコア（独自算出の注目度）: 11.936836827864095
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel hierarchical Bayesian model for learning with a large (possibly infinite) number of tasks/episodes, which suits well the few-shot meta learning problem. We consider episode-wise random variables to model episode-specific target generative processes, where these local random variables are governed by a higher-level global random variate. The global variable helps memorize the important information from historic episodes while controlling how much the model needs to be adapted to new episodes in a principled Bayesian manner. Within our model framework, the prediction on a novel episode/task can be seen as a Bayesian inference problem. However, a main obstacle in learning with a large/infinite number of local random variables in online nature, is that one is not allowed to store the posterior distribution of the current local random variable for frequent future updates, typical in conventional variational inference. We need to be able to treat each local variable as a one-time iterate in the optimization. We propose a Normal-Inverse-Wishart model, for which we show that this one-time iterate optimization becomes feasible due to the approximate closed-form solutions for the local posterior distributions. The resulting algorithm is more attractive than the MAML in that it is not required to maintain computational graphs for the whole gradient optimization steps per episode. Our approach is also different from existing Bayesian meta learning methods in that unlike dealing with a single random variable for the whole episodes, our approach has a hierarchical structure that allows one-time episodic optimization, desirable for principled Bayesian learning with many/infinite tasks. The code is available at \url{https://github.com/minyoungkim21/niwmeta}.
Abstract（参考訳）: そこで本論文では, タスク数が多く(おそらく無限に)学習可能な階層ベイズモデルを提案する。本研究では,これらの局所確率変数を高レベルな大域的乱数変数が支配するエピソード固有ターゲット生成過程をモデル化する。グローバル変数は歴史的エピソードから重要な情報を記憶し、ベイズ的手法でモデルが新しいエピソードにどの程度適応する必要があるかを制御するのに役立つ。モデルフレームワーク内では,新たなエピソード/タスクの予測をベイズ推論問題とみなすことができる。しかし、オンラインの自然界において、多数の局所確率変数を学習する際の主な障害は、従来の変動推論に典型的な、頻繁な将来の更新のために、現在の局所確率変数の後方分布を保存できないことである。最適化では各ローカル変数を1回だけ反復処理として扱えるようにする必要があります。本稿では,局所的な後続分布に対する近似閉形式解により,この一回反復最適化が実現可能であることを示す正規-逆-ウィッシュアートモデルを提案する。結果として得られるアルゴリズムは、エピソード毎の勾配最適化ステップ全体に対して計算グラフを維持する必要がなくなるため、mamlよりも魅力的である。また,本手法は,従来のベイズ型メタ学習手法と異なり,全エピソードに対して単一確率変数を扱うのと異なり,複数/無限タスクの原則ベイズ型学習に望ましい1回のエピソディック最適化を可能にする階層構造を有する。コードは \url{https://github.com/minyoungkim21/niwmeta} で入手できる。

関連論文リスト

BayOTIDE: Bayesian Online Multivariate Time series Imputation with functional decomposition [31.096125530322933]
交通やエネルギーといった現実のシナリオでは、値やノイズが欠けている巨大な時系列データが広く観測され、不規則にサンプリングされる。多くの計算法が提案されているが、そのほとんどは局所的な地平線で動作する。ほとんど全ての手法は、観測は通常のタイムスタンプでサンプリングされ、複雑な不規則なサンプル時系列を扱うことができないと仮定する。
論文参考訳（メタデータ） (2023-08-28T21:17:12Z)
Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。モデルに基づくベイズ強化学習の観点から問題を考察する。本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文参考訳（メタデータ） (2023-08-12T14:59:19Z)
MomentDiff: Generative Video Moment Retrieval from Random to Real [71.40038773943638]
私たちは、MomentDiffという拡散に基づく生成フレームワークを提供しています。 MomentDiffは、ランダムなブラウジングから段階的なローカライゼーションまで、典型的な人間の検索プロセスをシミュレートする。 MomentDiffは3つの公開ベンチマークで最先端の手法を一貫して上回っていることを示す。
論文参考訳（メタデータ） (2023-07-06T09:12:13Z)
Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文参考訳（メタデータ） (2023-06-16T17:59:51Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Amortized Variational Inference for Simple Hierarchical Models [37.56550107432323]
局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論を伴うサブサンプリングを使用することは困難である。本稿では,共有パラメータがすべての局所分布を同時に表現するアモータイズ手法を提案する。また、構造的変動分布を使用するよりも劇的に高速である。
論文参考訳（メタデータ） (2021-11-04T20:29:12Z)
Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation [110.09855163856326]
本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
論文参考訳（メタデータ） (2021-06-08T14:21:10Z)
An Embedded Model Estimator for Non-Stationary Random Functions using Multiple Secondary Variables [0.0]
本稿では,本手法を導入し,地理的モデリングや量子ランダムフォレストに適用した結果と自然に類似した一貫性を有することを示す。このアルゴリズムは、各ターゲット位置におけるターゲット変数の条件分布を推定することで機能する。
論文参考訳（メタデータ） (2020-11-09T00:14:24Z)
Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
マルチモーダル空間における条件生成のための新しい枠組みを提案する。潜在変数を使って一般化可能な学習パターンをモデル化する。推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
論文参考訳（メタデータ） (2020-10-07T03:11:34Z)
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes [1.827510863075184]
このチュートリアルは、オリジナルのFMRIB Variational Bayesチュートリアルを再考する。この新しいアプローチは、機械学習アルゴリズムに適用された計算方法に多くの類似性を持ち、恩恵を受けている。
論文参考訳（メタデータ） (2020-07-03T11:31:52Z)
Bayesian Meta-Prior Learning Using Empirical Bayes [3.666114237131823]
本稿では,情報的事前の欠如とパラメータ学習率の制御能力に対処する階層的経験ベイズ手法を提案する。本手法は,データ自体から経験的メタプライヤを学習し,その学習率を1次および2次の特徴の分離に利用する。スパースデータの最適化は、しばしば課題となるため、私たちの発見は有望です。
論文参考訳（メタデータ） (2020-02-04T05:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。