論文の概要: PAC-BUS: Meta-Learning Bounds via PAC-Bayes and Uniform Stability
- arxiv url: http://arxiv.org/abs/2102.06589v1
- Date: Fri, 12 Feb 2021 15:57:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-15 13:25:29.547269
- Title: PAC-BUS: Meta-Learning Bounds via PAC-Bayes and Uniform Stability
- Title（参考訳）: PAC-BUS:PAC-Bayesによるメタ学習境界と均一安定性
- Authors: Alec Farid and Anirudha Majumdar
- Abstract要約: 我々は2つの異なる一般化レベルを用いた安定なメタラーニングのためのおそらく正解(PAC)を導出する。
境界がベースラインレベルにある設定で境界によって動機づけられる実用的な正規化スキームを提示する。
- 参考スコア（独自算出の注目度）: 3.42658286826597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We are motivated by the problem of providing strong generalization guarantees
in the context of meta-learning. Existing generalization bounds are either
challenging to evaluate or provide vacuous guarantees in even relatively simple
settings. We derive a probably approximately correct (PAC) bound for
gradient-based meta-learning using two different generalization frameworks in
order to deal with the qualitatively different challenges of generalization at
the "base" and "meta" levels. We employ bounds for uniformly stable algorithms
at the base level and bounds from the PAC-Bayes framework at the meta level.
The result is a PAC-bound that is tighter when the base learner adapts quickly,
which is precisely the goal of meta-learning. We show that our bound provides a
tighter guarantee than other bounds on a toy non-convex problem on the unit
sphere and a text-based classification example. We also present a practical
regularization scheme motivated by the bound in settings where the bound is
loose and demonstrate improved performance over baseline techniques.
- Abstract（参考訳）: 我々は、メタラーニングの文脈において強い一般化の保証を提供するという問題に動機づけられている。
既存の一般化境界は、比較的単純な設定でも評価または空の保証を提供することが困難である。
我々は「ベース」と「メタ」のレベルでの一般化の質的に異なる課題に対処するために、2つの異なる一般化フレームワークを用いて、勾配に基づくメタ学習にほぼ正しい(pac)バウンドを導出する。
ベースレベルで一様安定なアルゴリズムとメタレベルでのPAC-Bayesフレームワークとのバウンドにバウンドを用いる。
その結果、ベース学習者が素早く適応するとよりタイトなPACバウンドとなり、それは正確にメタ学習の目標です。
我々の境界は、単位球面上のおもちゃの非凸問題やテキストベースの分類例において、他の境界よりも厳密な保証を提供する。
また,境界がゆるい設定のバウンドに動機づけられた実用的な正規化スキームを示し,ベースライン手法よりも性能が向上することを示す。
関連論文リスト
- Weakly Supervised Co-training with Swapping Assignments for Semantic Segmentation [21.345548821276097]
クラスアクティベーションマップ(CAM)は通常、擬似ラベルを生成するために弱教師付きセマンティックセマンティックセグメンテーション(WSSS)で使用される。
我々は、ガイド付きCAMを組み込んだエンドツーエンドWSSSモデルを提案し、CAMをオンラインで同時最適化しながらセグメンテーションモデルを訓練する。
CoSAは、追加の監督を持つものを含む、既存のマルチステージメソッドをすべて上回る、最初のシングルステージアプローチである。
論文 参考訳（メタデータ） (2024-02-27T21:08:23Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Generalized Few-Shot Continual Learning with Contrastive Mixture of
Adapters [59.82088750033897]
我々は,クラスおよびドメインインクリメンタルな状況を含む汎用FSCL (GFSCL) プロトコルを構築した。
一般的な連続学習手法は、目に見えない領域に一般化能力が乏しいことが判明した。
このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。
論文 参考訳（メタデータ） (2023-02-12T15:18:14Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - A General framework for PAC-Bayes Bounds for Meta-Learning [0.0]
メタ一般化ギャップにおけるPAC-Bayes境界について検討する。
本論文では、任意の凸関数を上界化することにより、新しいPAC-Bayes境界を得る。
これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-11T07:45:25Z) - A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。
フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。
D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
論文 参考訳（メタデータ） (2022-02-19T20:22:04Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - A General Framework for the Practical Disintegration of PAC-Bayesian
Bounds [2.516393111664279]
我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。
我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
論文 参考訳（メタデータ） (2021-02-17T09:36:46Z) - PAC-Bayes Bounds for Meta-learning with Data-Dependent Prior [36.38937352131301]
PAC-Bayes相対エントロピー境界に基づくメタラーニングのための3つの新しい一般化誤差境界を導出する。
メタラーニングのための提案された3つのPAC-Bayes境界は、競合する一般化性能を保証する。
論文 参考訳（メタデータ） (2021-02-07T09:03:43Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。