論文の概要: Information-Theoretic Generalization Bounds for Meta-Learning and Applications

• arxiv url: http://arxiv.org/abs/2005.04372v4
• Date: Fri, 15 Jan 2021 12:00:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 06:51:47.699463
• Title: Information-Theoretic Generalization Bounds for Meta-Learning and Applications
• Title（参考訳）: メタラーニングのための情報理論一般化境界とその応用
• Authors: Sharu Theresa Jose, Osvaldo Simeone
• Abstract要約: メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
• 参考スコア（独自算出の注目度）: 42.275148861039895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning, or "learning to learn", refers to techniques that infer an inductive bias from data corresponding to multiple related tasks with the goal of improving the sample efficiency for new, previously unobserved, tasks. A key performance measure for meta-learning is the meta-generalization gap, that is, the difference between the average loss measured on the meta-training data and on a new, randomly selected task. This paper presents novel information-theoretic upper bounds on the meta-generalization gap. Two broad classes of meta-learning algorithms are considered that uses either separate within-task training and test sets, like MAML, or joint within-task training and test sets, like Reptile. Extending the existing work for conventional learning, an upper bound on the meta-generalization gap is derived for the former class that depends on the mutual information (MI) between the output of the meta-learning algorithm and its input meta-training data. For the latter, the derived bound includes an additional MI between the output of the per-task learning procedure and corresponding data set to capture within-task uncertainty. Tighter bounds are then developed, under given technical conditions, for the two classes via novel Individual Task MI (ITMI) bounds. Applications of the derived bounds are finally discussed, including a broad class of noisy iterative algorithms for meta-learning.
• Abstract（参考訳）: メタラーニング(meta-learning、"learning to learn")とは、複数の関連するタスクに対応するデータから帰納的バイアスを推測する手法であり、新しい、以前は観測されていなかったタスクのサンプル効率を改善することを目的としている。 メタラーニングにおける重要なパフォーマンス指標は、メタ一般化ギャップ、すなわち、メタ学習データで測定された平均損失と、ランダムに選択された新しいタスクとの差である。 本稿ではメタ一般化ギャップに関する新しい情報理論上界を提案する。 メタ学習アルゴリズムの2つのクラスは、MAMLのような個別のタスク内トレーニングとテストセットを使用するか、Reptileのような共同タスク内トレーニングとテストセットを使用する。 従来の学習のための既存の作業を拡張することにより、メタ学習アルゴリズムの出力と入力されたメタトレーニングデータとの相互情報(mi)に依存する前クラスに対して、メタ一般化ギャップの上限が導出される。 後者の場合、導出バウンダリは、タスク毎の学習手順の出力と、タスク内不確実性をキャプチャするための対応するデータセットとの間の追加MIを含む。 厳密な境界は、与えられた技術的条件の下で、新規な個別タスクMI(ITMI)境界を介して2つのクラスに対して開発される。 導出境界の応用は、メタ学習のためのノイズの多い反復アルゴリズムの幅広いクラスを含む、最終的に議論される。

関連論文リスト

• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning [44.320945743871285]
  メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
  論文  参考訳（メタデータ） (2021-01-21T01:38:16Z)
• Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization [47.7605527786164]
  メタ学習は、複数の関連するタスクからのデータを観察し、誘導バイアスを自動的に推論する。 本稿では,メタテスト中に目標タスク環境からタスクを抽出するトランスファーメタラーニングの問題を紹介する。
  論文  参考訳（メタデータ） (2020-11-04T12:55:43Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。