論文の概要: Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning

• arxiv url: http://arxiv.org/abs/2105.14099v1
• Date: Fri, 28 May 2021 20:40:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 01:26:40.393900
• Title: Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot Meta-Learning
• Title（参考訳）: Few-Shot Meta-Learningにおける実践とPAC-Bayes理論のギャップを埋める
• Authors: Nan Ding, Xi Chen, Tomer Levinboim, Sebastian Goodman, Radu Soricut
• Abstract要約: 数ショットの学習環境に適した2つのPAC-Bayesian境界を開発する。 既存の2つのメタ学習アルゴリズム(MAMLとReptile)が我々の限界から導出可能であることを示す。 我々は,計算効率のよいPACMAMLアルゴリズムを考案し,いくつかのベンチマークデータセットにおいて,既存のメタ学習アルゴリズムよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 20.911545126223405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advances in its theoretical understanding, there still remains a significant gap in the ability of existing PAC-Bayesian theories on meta-learning to explain performance improvements in the few-shot learning setting, where the number of training examples in the target tasks is severely limited. This gap originates from an assumption in the existing theories which supposes that the number of training examples in the observed tasks and the number of training examples in the target tasks follow the same distribution, an assumption that rarely holds in practice. By relaxing this assumption, we develop two PAC-Bayesian bounds tailored for the few-shot learning setting and show that two existing meta-learning algorithms (MAML and Reptile) can be derived from our bounds, thereby bridging the gap between practice and PAC-Bayesian theories. Furthermore, we derive a new computationally-efficient PACMAML algorithm, and show it outperforms existing meta-learning algorithms on several few-shot benchmark datasets.
• Abstract（参考訳）: 近年の理論的理解の進歩にもかかわらず、メタラーニングにおける既存のPAC-ベイジアン理論が、目標タスクにおけるトレーニング例の数が著しく制限されている、数ショット学習環境でのパフォーマンス改善を説明する能力には、依然として大きなギャップがある。 このギャップは、観測されたタスクのトレーニングサンプル数と対象タスクのトレーニングサンプル数とが同じ分布に従うという、実際にはほとんど持たない仮定を前提とする、既存の理論の仮定に由来する。 この仮定を緩和することにより、数ショットの学習環境に適した2つのPAC-Bayesian境界を開発し、既存の2つのメタ学習アルゴリズム(MAMLとReptile)が我々の境界から導出可能であることを示す。 さらに,計算効率のよいPACMAMLアルゴリズムを考案し,既存のメタ学習アルゴリズムよりも優れていることを示す。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• A General framework for PAC-Bayes Bounds for Meta-Learning [0.0]
  メタ一般化ギャップにおけるPAC-Bayes境界について検討する。 本論文では、任意の凸関数を上界化することにより、新しいPAC-Bayes境界を得る。 これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T07:45:25Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation [19.792537914018933]
  マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。 現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。 MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
  論文  参考訳（メタデータ） (2021-06-16T17:58:23Z)
• Improving Few-Shot Learning through Multi-task Representation Learning Theory [14.8429503385929]
  本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。 MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。 これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
  論文  参考訳（メタデータ） (2020-10-05T13:24:43Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。