論文の概要: Empirical Bayes Transductive Meta-Learning with Synthetic Gradients

• arxiv url: http://arxiv.org/abs/2004.12696v1
• Date: Mon, 27 Apr 2020 10:39:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 04:37:49.779518
• Title: Empirical Bayes Transductive Meta-Learning with Synthetic Gradients
• Title（参考訳）: 合成勾配を用いた経験的ベイズ変換メタラーニング
• Authors: Shell Xu Hu, Pablo G. Moreno, Yang Xiao, Xi Shen, Guillaume Obozinski, Neil D. Lawrence, Andreas Damianou
• Abstract要約: 本稿では,複数のタスクからトランスダクティブな環境下で学習するメタラーニング手法を提案する。 メタモデルを用いてすべての変分後部を結合する新しい補正変分推論を導出する。 The Mini-ImageNet and CIFAR-FS benchmarks for episodic few-shot classification outform out of previous State-of-the-art method。
• 参考スコア（独自算出の注目度）: 24.18142841376967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a meta-learning approach that learns from multiple tasks in a transductive setting, by leveraging the unlabeled query set in addition to the support set to generate a more powerful model for each task. To develop our framework, we revisit the empirical Bayes formulation for multi-task learning. The evidence lower bound of the marginal log-likelihood of empirical Bayes decomposes as a sum of local KL divergences between the variational posterior and the true posterior on the query set of each task. We derive a novel amortized variational inference that couples all the variational posteriors via a meta-model, which consists of a synthetic gradient network and an initialization network. Each variational posterior is derived from synthetic gradient descent to approximate the true posterior on the query set, although where we do not have access to the true gradient. Our results on the Mini-ImageNet and CIFAR-FS benchmarks for episodic few-shot classification outperform previous state-of-the-art methods. Besides, we conduct two zero-shot learning experiments to further explore the potential of the synthetic gradient.
• Abstract（参考訳）: 本稿では,各タスクに対してより強力なモデルを生成するためのサポートセットに加えて,ラベルのないクエリセットを活用することで,複数のタスクからトランスダクティブな設定で学習するメタラーニング手法を提案する。 本研究では,マルチタスク学習のための経験的ベイズ定式化について再考する。 経験ベイズの辺縁的ログ類似性のエビデンスの下限は、各タスクのクエリ集合上の変動後段と真の後段の間の局所的klの発散の和として分解される。 我々は,合成勾配ネットワークと初期化ネットワークからなるメタモデルにより,すべての変動後段を結合する新しい不定形変分推論法を導出する。 各変分後部は、真の勾配にアクセスできないにもかかわらず、クエリセット上の真の後部を近似するために合成勾配降下から導かれる。 エピソディック・マイズショット分類のためのmini-imagenetおよびcifar-fsベンチマークの結果は,従来の最先端手法を上回っている。 さらに、2つのゼロショット学習実験を行い、合成勾配のポテンシャルをさらに探求する。

関連論文リスト

• Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning [19.850893012601638]
  連続学習は、前のタスクから得た知識を忘れずに、一連のタスクを逐次学習することを目的としている。 本稿では,Hessian Aware Low-Rank Perturbationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-26T01:44:01Z)
• A Closer Look at Few-shot Classification Again [68.44963578735877]
  トレーニングフェーズと適応フェーズで構成されている。 トレーニングアルゴリズムと適応アルゴリズムが完全に絡み合っていることを実証的に証明する。 各フェーズのメタアナリシスは、いくつかの興味深い洞察を示し、いくつかのショット分類の重要な側面をよりよく理解するのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-28T16:42:05Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Bayesian Federated Neural Matching that Completes Full Information [2.6566593102111473]
  フェデレートラーニング(Federated Learning)は、局所的に訓練されたモデルをグローバルモデルに蒸留する機械学習パラダイムである。 そこで本研究では,各イテレーションでKulback-Leibler分散ペナルティを導入することで,この欠陥を克服する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-15T09:47:56Z)
• Doubly Reparameterized Importance Weighted Structure Learning for Scene Graph Generation [40.46394569128303]
  入力画像が与えられたシーングラフ生成は、視覚的に接地されたシーングラフを構築することにより、オブジェクトとその関係を明示的にモデル化することを目的としている。 本稿では,より厳密な重み付き下界を変分推論対象として用いた2重み付き重み付き構造学習法を提案する。 提案手法は,様々な人気シーングラフ生成ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-22T20:00:25Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Covariate Distribution Aware Meta-learning [3.494950334697974]
  本稿では,有意義な緩和を導入することで,計算可能なメタ学習アルゴリズムを提案する。 一般的な分類ベンチマークに基づいて,ブートストラップによるメタラーニングベースラインに対するアルゴリズムの優位性を実証する。
  論文  参考訳（メタデータ） (2020-07-06T05:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。