論文の概要: A General framework for PAC-Bayes Bounds for Meta-Learning
- arxiv url: http://arxiv.org/abs/2206.05454v1
- Date: Sat, 11 Jun 2022 07:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-19 11:41:48.229488
- Title: A General framework for PAC-Bayes Bounds for Meta-Learning
- Title（参考訳）: メタラーニングのためのPAC-Bayes境界の一般的なフレームワーク
- Authors: Arezou Rezazadeh
- Abstract要約: メタ一般化ギャップにおけるPAC-Bayes境界について検討する。
本論文では、任意の凸関数を上界化することにより、新しいPAC-Bayes境界を得る。
これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Meta learning automatically infers an inductive bias, that includes the
hyperparameter of the base-learning algorithm, by observing data from a finite
number of related tasks. This paper studies PAC-Bayes bounds on meta
generalization gap. The meta-generalization gap comprises two sources of
generalization gaps: the environment-level and task-level gaps resulting from
observation of a finite number of tasks and data samples per task,
respectively. In this paper, by upper bounding arbitrary convex functions,
which link the expected and empirical losses at the environment and also
per-task levels, we obtain new PAC-Bayes bounds. Using these bounds, we develop
new PAC-Bayes meta-learning algorithms. Numerical examples demonstrate the
merits of the proposed novel bounds and algorithm in comparison to prior
PAC-Bayes bounds for meta-learning.
- Abstract（参考訳）: メタ学習は、有限個の関連するタスクからデータを観察し、ベースラーニングアルゴリズムのハイパーパラメータを含む帰納バイアスを自動的に推論する。
本稿では,メタ一般化ギャップにおけるPAC-Bayes境界について検討する。
メタ一般化ギャップは、環境レベルとタスクレベルのギャップの2つの一般化ギャップから成り、タスク当たりのタスク数の有限とデータサンプルの観測から生じる。
本稿では, 任意の凸関数を上界に配置し, 環境における期待と経験の損失と, タスクごとのレベルを結びつけることにより, 新たなPAC-Bayes境界を求める。
これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
数値例は、メタラーニングの以前のpac-bayes境界と比較して、提案する新しい境界とアルゴリズムの利点を示している。
関連論文リスト
- Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Embed to Control Partially Observed Systems: Representation Learning with Provable Sample Efficiency [105.17746223041954]
部分的に観察されたマルコフ決定過程(POMDP)における強化学習は2つの課題に直面している。
しばしば、未来を予測するのに完全な歴史を要し、地平線と指数関数的にスケールするサンプルの複雑さを誘導する。
本稿では,2段階の表現を最適化しながら学習するETC(Embed to Control)という強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-26T16:34:46Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Bridging the Gap Between Practice and PAC-Bayes Theory in Few-Shot
Meta-Learning [20.911545126223405]
数ショットの学習環境に適した2つのPAC-Bayesian境界を開発する。
既存の2つのメタ学習アルゴリズム(MAMLとReptile)が我々の限界から導出可能であることを示す。
我々は,計算効率のよいPACMAMLアルゴリズムを考案し,いくつかのベンチマークデータセットにおいて,既存のメタ学習アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-05-28T20:40:40Z) - Information Complexity and Generalization Bounds [0.0]
ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。
本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
論文 参考訳（メタデータ） (2021-05-04T20:37:57Z) - PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。
メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文 参考訳（メタデータ） (2021-02-07T09:03:43Z) - The Advantage of Conditional Meta-Learning for Biased Regularization and
Fine-Tuning [50.21341246243422]
バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。
本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。
次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-25T07:32:16Z) - Information-Theoretic Generalization Bounds for Meta-Learning and
Applications [42.275148861039895]
メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。
本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
論文 参考訳（メタデータ） (2020-05-09T05:48:01Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。