論文の概要: Learning to Learn Kernels with Variational Random Features

• arxiv url: http://arxiv.org/abs/2006.06707v2
• Date: Thu, 13 Aug 2020 13:01:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 12:39:51.913596
• Title: Learning to Learn Kernels with Variational Random Features
• Title（参考訳）: 変分ランダム特徴を用いたカーネルの学習
• Authors: Xiantong Zhen, Haoliang Sun, Yingjun Du, Jun Xu, Yilong Yin, Ling Shao, Cees Snoek
• Abstract要約: メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
• 参考スコア（独自算出の注目度）: 118.09565227041844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce kernels with random Fourier features in the meta-learning framework to leverage their strong few-shot learning ability. We propose meta variational random features (MetaVRF) to learn adaptive kernels for the base-learner, which is developed in a latent variable model by treating the random feature basis as the latent variable. We formulate the optimization of MetaVRF as a variational inference problem by deriving an evidence lower bound under the meta-learning framework. To incorporate shared knowledge from related tasks, we propose a context inference of the posterior, which is established by an LSTM architecture. The LSTM-based inference network can effectively integrate the context information of previous tasks with task-specific information, generating informative and adaptive features. The learned MetaVRF can produce kernels of high representational power with a relatively low spectral sampling rate and also enables fast adaptation to new tasks. Experimental results on a variety of few-shot regression and classification tasks demonstrate that MetaVRF delivers much better, or at least competitive, performance compared to existing meta-learning alternatives.
• Abstract（参考訳）: 本研究ではメタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数発学習能力を活用する。 本稿では,メタ変動ランダムな特徴量(MetaVRF)をベースラーナーの適応型カーネルの学習に適用し,乱特徴量ベースを潜時変数として扱い,潜時変数モデルで開発する。 メタVRFの最適化は,メタラーニングの枠組みの下にある証拠を導出することにより,変分推論問題として定式化する。 関連タスクからの共有知識を取り入れるために,LSTMアーキテクチャによって構築された後肢のコンテキスト推論を提案する。 LSTMベースの推論ネットワークは、以前のタスクのコンテキスト情報をタスク固有の情報と効果的に統合し、情報的かつ適応的な特徴を生成する。 学習したMetaVRFは、比較的低いスペクトルサンプリングレートで高表現力のカーネルを生成し、新しいタスクへの迅速な適応を可能にする。 さまざまな数ショットのレグレッションと分類タスクの実験結果は、MetaVRFが既存のメタ学習方法よりもはるかに優れた、少なくとも競争力のあるパフォーマンスを提供することを示した。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Retrieval-Augmented Meta Learning for Low-Resource Text Classification [22.653220906899612]
  検索型メタ学習(RAML)というメタ学習手法を提案する。 推論にはパラメータ化を使用するが、外部コーパスから非パラメトリック知識を取得して推論を行う。 RAMLは、現在のSOTA低リソーステキスト分類モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-09-10T10:05:03Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• An Optimization-Based Meta-Learning Model for MRI Reconstruction with Diverse Dataset [4.9259403018534496]
  メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。 提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。 メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
  論文  参考訳（メタデータ） (2021-10-02T03:21:52Z)
• Dynamic Regret Analysis for Online Meta-Learning [0.0]
  オンラインメタ学習フレームワークは、継続的な生涯学習設定のための強力なツールとして生まれてきた。 この定式化には、メタラーナーを学ぶ外部レベルと、タスク固有のモデルを学ぶ内部レベルという2つのレベルが含まれる。 グローバルな予測から環境の変化を扱う動的な後悔という観点から、パフォーマンスを確立します。 本稿では,本分析を1つの設定で実施し,各イテレーションの総数に依存する局所的局所的後悔の対数論的証明を期待する。
  論文  参考訳（メタデータ） (2021-09-29T12:12:59Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。