論文の概要: Conditional Mutual Information-Based Generalization Bound for Meta Learning

• arxiv url: http://arxiv.org/abs/2010.10886v2
• Date: Mon, 8 Feb 2021 17:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 23:23:14.262022
• Title: Conditional Mutual Information-Based Generalization Bound for Meta Learning
• Title（参考訳）: 条件付き相互情報に基づくメタ学習のための一般化
• Authors: Arezou Rezazadeh, Sharu Theresa Jose, Giuseppe Durisi, Osvaldo Simeone
• Abstract要約: 本稿では,任意のメタラーナーの一般化性能に関する情報理論的バウンダリを提案する。 メタラーニングの拡張は、SteinkeとZakynthinouの条件付き相互情報フレームワークに基づいている。
• 参考スコア（独自算出の注目度）: 42.495383850535376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning optimizes an inductive bias---typically in the form of the hyperparameters of a base-learning algorithm---by observing data from a finite number of related tasks. This paper presents an information-theoretic bound on the generalization performance of any given meta-learner, which builds on the conditional mutual information (CMI) framework of Steinke and Zakynthinou (2020). In the proposed extension to meta-learning, the CMI bound involves a training \textit{meta-supersample} obtained by first sampling $2N$ independent tasks from the task environment, and then drawing $2M$ independent training samples for each sampled task. The meta-training data fed to the meta-learner is modelled as being obtained by randomly selecting $N$ tasks from the available $2N$ tasks and $M$ training samples per task from the available $2M$ training samples per task. The resulting bound is explicit in two CMI terms, which measure the information that the meta-learner output and the base-learner output provide about which training data are selected, given the entire meta-supersample. Finally, we present a numerical example that illustrates the merits of the proposed bound in comparison to prior information-theoretic bounds for meta-learning.
• Abstract（参考訳）: メタラーニングは、有限個の関連するタスクからデータを観察することで、基礎学習アルゴリズムのハイパーパラメータという形式で、帰納的バイアスを最適化する。 本稿では,Steinke と Zakynthinou (2020) の条件付き相互情報(CMI) フレームワークに基づく,任意のメタラーナーの一般化性能に関する情報理論的境界について述べる。 提案されたメタラーニングの拡張では、CMI境界は、まずタスク環境から2N$の独立したタスクをサンプリングし、次にサンプルされたタスク毎に2M$の独立したトレーニングサンプルを描画することによって得られるトレーニング \textit{meta-supersample} を含む。 meta-learnerに供給されるメタトレーニングデータは、利用可能な$n$タスクからランダムに$n$タスクを選択し、1タスクあたり$m$トレーニングサンプルを、利用可能な$m$トレーニングサンプルから得るようにモデル化される。 結果のバウンドは2つのcmi用語で明示され、メタスーパーサンプルが与えられたとき、メタリーナー出力とベースリーナー出力がどのトレーニングデータを選択するかを示す情報を測定する。 最後に,メタ学習における事前の情報理論境界と比較し,提案した境界の利点を示す数値例を示す。

関連論文リスト

• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning [44.320945743871285]
  メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
  論文  参考訳（メタデータ） (2021-01-21T01:38:16Z)
• Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization [47.7605527786164]
  メタ学習は、複数の関連するタスクからのデータを観察し、誘導バイアスを自動的に推論する。 本稿では,メタテスト中に目標タスク環境からタスクを抽出するトランスファーメタラーニングの問題を紹介する。
  論文  参考訳（メタデータ） (2020-11-04T12:55:43Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。