論文の概要: PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior

• arxiv url: http://arxiv.org/abs/2102.03748v1
• Date: Sun, 7 Feb 2021 09:03:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 08:12:19.079172
• Title: PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior
• Title（参考訳）: PAC-Bayes Bounds for Meta- Learning with Data-Dependent Prior
• Authors: Tianyu Liu, Jie Lu, Zheng Yan, Guangquan Zhang
• Abstract要約: PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。 メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
• 参考スコア（独自算出の注目度）: 36.38937352131301
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: By leveraging experience from previous tasks, meta-learning algorithms can achieve effective fast adaptation ability when encountering new tasks. However it is unclear how the generalization property applies to new tasks. Probably approximately correct (PAC) Bayes bound theory provides a theoretical framework to analyze the generalization performance for meta-learning. We derive three novel generalisation error bounds for meta-learning based on PAC-Bayes relative entropy bound. Furthermore, using the empirical risk minimization (ERM) method, a PAC-Bayes bound for meta-learning with data-dependent prior is developed. Experiments illustrate that the proposed three PAC-Bayes bounds for meta-learning guarantee a competitive generalization performance guarantee, and the extended PAC-Bayes bound with data-dependent prior can achieve rapid convergence ability.
• Abstract（参考訳）: 過去のタスクからの経験を活用することで、メタラーニングアルゴリズムは新しいタスクに遭遇したときに効果的な迅速な適応能力を達成できます。 しかし、一般化プロパティが新しいタスクにどのように適用されるかは不明である。 おそらくほぼ正しい(PAC)ベイズ境界理論はメタラーニングの一般化性能を分析する理論的枠組みを提供する。 PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。 さらに,経験的リスク最小化(ERM)手法を用いて,データ依存型メタラーニングのためのPAC-Bayesバウンドを開発した。 実験では、メタラーニングのための3つのPAC-Bayes境界が競合的な一般化性能保証を保証し、データ依存の事前結合された拡張PAC-Bayesが迅速な収束能力を達成できることが示されている。

関連論文リスト

• Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
  PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。 このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
  論文  参考訳（メタデータ） (2023-05-30T17:31:25Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• A General framework for PAC-Bayes Bounds for Meta-Learning [0.0]
  メタ一般化ギャップにおけるPAC-Bayes境界について検討する。 本論文では、任意の凸関数を上界化することにより、新しいPAC-Bayes境界を得る。 これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T07:45:25Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• APS: Active Pretraining with Successor Features [96.24533716878055]
  非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。 提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
  論文  参考訳（メタデータ） (2021-08-31T16:30:35Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• PAC-BUS: Meta-Learning Bounds via PAC-Bayes and Uniform Stability [3.42658286826597]
  我々は2つの異なる一般化レベルを用いた安定なメタラーニングのためのおそらく正解(PAC)を導出する。 境界がベースラインレベルにある設定で境界によって動機づけられる実用的な正規化スキームを提示する。
  論文  参考訳（メタデータ） (2021-02-12T15:57:45Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。