論文の概要: Towards Sharper Information-theoretic Generalization Bounds for Meta-Learning

• arxiv url: http://arxiv.org/abs/2501.15559v1
• Date: Sun, 26 Jan 2025 15:22:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:27.235379
• Title: Towards Sharper Information-theoretic Generalization Bounds for Meta-Learning
• Title（参考訳）: メタラーニングのためのシャーパ情報理論一般化境界を目指して
• Authors: Wen Wen, Tieliang Gong, Yuxin Dong, Yong-Jin Liu, Weizhan Zhang,
• Abstract要約: メタラーニングのための新しい一段階情報理論境界を確立する。 我々の境界は、以前のMIおよびCMIベースの境界よりもかなり有利である。 本稿では,2種類の雑音と反復的メタ学習アルゴリズムの一般化挙動に関する新しい理論的知見を提供する。
• 参考スコア（独自算出の注目度）: 31.843499167305115
• License:
• Abstract: In recent years, information-theoretic generalization bounds have emerged as a promising approach for analyzing the generalization capabilities of meta-learning algorithms. However, existing results are confined to two-step bounds, failing to provide a sharper characterization of the meta-generalization gap that simultaneously accounts for environment-level and task-level dependencies. This paper addresses this fundamental limitation by establishing novel single-step information-theoretic bounds for meta-learning. Our bounds exhibit substantial advantages over prior MI- and CMI-based bounds, especially in terms of tightness, scaling behavior associated with sampled tasks and samples per task, and computational tractability. Furthermore, we provide novel theoretical insights into the generalization behavior of two classes of noise and iterative meta-learning algorithms via gradient covariance analysis, where the meta-learner uses either the entire meta-training data (e.g., Reptile), or separate training and test data within the task (e.g., model agnostic meta-learning (MAML)). Numerical results validate the effectiveness of the derived bounds in capturing the generalization dynamics of meta-learning.
• Abstract（参考訳）: 近年,メタ学習アルゴリズムの一般化能力を解析するための有望なアプローチとして,情報理論の一般化境界が出現している。 しかし、既存の結果は2段階の境界に限られており、環境レベルの依存関係とタスクレベルの依存関係を同時に考慮するメタ一般化ギャップのよりシャープな評価が得られていない。 本稿では,メタラーニングのための新しい一段階情報理論境界を確立することで,この基本的限界に対処する。 我々の限界は、特に厳密性、タスクごとのサンプルやサンプルに関連するスケーリングの挙動、計算的トラクタビリティにおいて、以前のMIおよびCMIベースの境界よりも大きな優位性を示す。 さらに、メタラーナーは、メタトレーニングデータ全体(例えば、Reptile)またはタスク内の個別のトレーニングデータとテストデータ(例えば、モデル非依存メタラーニング(MAML))を使用する。 メタラーニングの一般化ダイナミクスのキャプチャにおける導出境界の有効性を数値計算により検証した。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• A General framework for PAC-Bayes Bounds for Meta-Learning [0.0]
  メタ一般化ギャップにおけるPAC-Bayes境界について検討する。 本論文では、任意の凸関数を上界化することにより、新しいPAC-Bayes境界を得る。 これらの境界を用いて,新しいPAC-Bayesメタ学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T07:45:25Z)
• Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis [8.028776552383365]
  本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。 我々は,MAMLの変種に対するデータ依存の一般化を提供する。
  論文  参考訳（メタデータ） (2021-09-29T17:45:54Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。