論文の概要: More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms
- arxiv url: http://arxiv.org/abs/2402.04054v2
- Date: Wed, 29 May 2024 16:32:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 23:31:04.312959
- Title: More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms
- Title（参考訳）: 学習アルゴリズムによるより柔軟なPAC-Bayesianメタラーニング
- Authors: Hossein Zakerinia, Amin Behjati, Christoph H. Lampert,
- Abstract要約: PAC-Bayesian理論を用いたメタラーニング手法の研究のための新しいフレームワークを提案する。
私たちの大きな利点は、タスク間の知識の伝達を実現する方法において、柔軟性を高めることです。
- 参考スコア（独自算出の注目度）: 15.621144215664769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new framework for studying meta-learning methods using PAC-Bayesian theory. Its main advantage over previous work is that it allows for more flexibility in how the transfer of knowledge between tasks is realized. For previous approaches, this could only happen indirectly, by means of learning prior distributions over models. In contrast, the new generalization bounds that we prove express the process of meta-learning much more directly as learning the learning algorithm that should be used for future tasks. The flexibility of our framework makes it suitable to analyze a wide range of meta-learning mechanisms and even design new mechanisms. Other than our theoretical contributions we also show empirically that our framework improves the prediction quality in practical meta-learning mechanisms.
- Abstract（参考訳）: PAC-Bayesian理論を用いたメタラーニング手法の研究のための新しいフレームワークを提案する。
これまでの作業に比べて大きな利点は、タスク間の知識の伝達を実現する方法において、柔軟性を高めることである。
従来のアプローチでは、モデル上の事前分布を学習することで、間接的にしか実現できなかった。
対照的に、新しい一般化は、メタ学習のプロセスが将来のタスクに使用されるべき学習アルゴリズムを学習するよりも、はるかに直接的に表現できることを証明している。
フレームワークの柔軟性は、幅広いメタ学習メカニズムを分析したり、新しいメカニズムを設計したりするのに適しています。
理論的貢献以外は、我々のフレームワークが実用的なメタ学習メカニズムの予測品質を改善することを実証的に示しています。
関連論文リスト
- A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Towards a General Framework for Continual Learning with Pre-training [55.88910947643436]
本稿では,事前学習を用いた逐次到着タスクの連続学習のための一般的な枠組みを提案する。
我々はその目的を,タスク内予測,タスク同一性推論,タスク適応予測という3つの階層的構成要素に分解する。
本稿では,パラメータ効率細調整(PEFT)技術と表現統計量を用いて,これらのコンポーネントを明示的に最適化する革新的な手法を提案する。
論文 参考訳（メタデータ） (2023-10-21T02:03:38Z) - Meta-Learned Models of Cognition [11.488249464936422]
メタラーニングは、環境との反復的な相互作用を通じてアルゴリズムを学ぶためのフレームワークである。
本稿では,メタ学習型認知モデルを中心としたコヒーレントな研究プログラムを確立することを目的とする。
論文 参考訳（メタデータ） (2023-04-12T16:30:51Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Learning with Limited Samples -- Meta-Learning and Applications to
Communication Systems [46.760568562468606]
メタ学習は、新しいタスクに迅速に適応できる学習アルゴリズムを最適化する。
このレビュー・モノグラフは、原則、アルゴリズム、理論、工学的応用をカバーし、メタラーニングの紹介を提供する。
論文 参考訳（メタデータ） (2022-10-03T17:15:36Z) - On Data Efficiency of Meta-learning [17.739215706060605]
私たちは、現代のメタ学習アルゴリズムの見落とされがちな側面、すなわちそのデータ効率を研究します。
本稿では,メタラーニング手法を評価するための新しいシンプルなフレームワークを提案する。
本稿では,アクティブなデータ選択を学習学習に取り入れたアクティブなメタラーニングを提案する。
論文 参考訳（メタデータ） (2021-01-30T01:44:12Z) - Online Structured Meta-learning [137.48138166279313]
現在のオンラインメタ学習アルゴリズムは、グローバルに共有されたメタラーナーを学ぶために限られている。
この制限を克服するオンライン構造化メタラーニング(OSML)フレームワークを提案する。
3つのデータセットの実験は、提案フレームワークの有効性と解釈可能性を示している。
論文 参考訳（メタデータ） (2020-10-22T09:10:31Z) - Improving Few-Shot Learning through Multi-task Representation Learning
Theory [14.8429503385929]
本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。
MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。
これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
論文 参考訳（メタデータ） (2020-10-05T13:24:43Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。