論文の概要: An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning

• arxiv url: http://arxiv.org/abs/2101.08390v2
• Date: Mon, 25 Jan 2021 04:55:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 07:45:20.233442
• Title: An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning
• Title（参考訳）: タスク類似性がメタラーニングに与える影響に関する情報理論解析
• Authors: Sharu Theresa Jose and Osvaldo Simeone
• Abstract要約: メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
• 参考スコア（独自算出の注目度）: 44.320945743871285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning aims at optimizing the hyperparameters of a model class or training algorithm from the observation of data from a number of related tasks. Following the setting of Baxter [1], the tasks are assumed to belong to the same task environment, which is defined by a distribution over the space of tasks and by per-task data distributions. The statistical properties of the task environment thus dictate the similarity of the tasks. The goal of the meta-learner is to ensure that the hyperparameters obtain a small loss when applied for training of a new task sampled from the task environment. The difference between the resulting average loss, known as meta-population loss, and the corresponding empirical loss measured on the available data from related tasks, known as meta-generalization gap, is a measure of the generalization capability of the meta-learner. In this paper, we present novel information-theoretic bounds on the average absolute value of the meta-generalization gap. Unlike prior work [2], our bounds explicitly capture the impact of task relatedness, the number of tasks, and the number of data samples per task on the meta-generalization gap. Task similarity is gauged via the Kullback-Leibler (KL) and Jensen-Shannon (JS) divergences. We illustrate the proposed bounds on the example of ridge regression with meta-learned bias.
• Abstract（参考訳）: メタラーニングは、関連するタスクからのデータ観測からモデルクラスやトレーニングアルゴリズムのハイパーパラメータを最適化することを目的としている。 baxter [1] の設定に続いて、タスクはタスク空間上の分散とタスクごとのデータ分散によって定義される同じタスク環境に属すると仮定される。 したがって、タスク環境の統計的性質はタスクの類似性を決定する。 meta-learnerの目標は、タスク環境からサンプリングされた新しいタスクのトレーニングに適用されると、ハイパーパラメータがわずかな損失を得るようにすることである。 結果として生じる平均損失(メタ人口損失)と、メタ一般化ギャップ(meta-generalization gap)として知られる関連するタスクから得られる利用可能なデータに基づいて測定される経験的損失(experience loss)との差は、メタリーナーの一般化能力の尺度である。 本稿では,メタ一般化ギャップの平均絶対値に関する新しい情報理論的境界を提案する。 従来の作業[2]とは違って,タスク関連性,タスク数,タスク毎のデータサンプル数がメタ一般化ギャップに与える影響を明確に把握する。 タスクの類似性は、KL(Kullback-Leibler)とJS(Jensen-Shannon)の分岐によって測定される。 本稿では,メタ学習バイアスを伴うリッジ回帰の例で提案する境界を説明する。

関連論文リスト

• Learning to generate imaginary tasks for improving generalization in meta-learning [12.635773307074022]
  既存のベンチマークにおけるメタ学習の成功は、メタトレーニングタスクの分布がメタテストタスクをカバーするという仮定に基づいて予測される。 最近のソリューションではメタトレーニングタスクの強化が追求されているが、正確なタスクと十分な想像上のタスクの両方を生成することは、まだ未解決の問題である。 本稿では,タスクアップサンプリングネットワークを通じてタスク表現からメタ学習タスクをアップサンプリングする手法を提案する。さらに,タスクアップサンプリング(ATU)と呼ばれるアプローチにより,タスクを最大化することで,最新のメタラーナーに最大限貢献できるタスクを生成する。
  論文  参考訳（メタデータ） (2022-06-09T08:21:05Z)
• Transfer Bayesian Meta-learning via Weighted Free Energy Minimization [37.51664463278401]
  重要な前提は、メタトレーニングタスクとして知られる補助タスクが、デプロイ時に遭遇するタスクと同じ生成分布を共有することである。 本稿では,トランスファーメタラーニングのための重み付き自由エネルギー最小化(WFEM)を提案する。
  論文  参考訳（メタデータ） (2021-06-20T15:17:51Z)
• Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
  最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。 トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。 我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-11T02:35:42Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization [47.7605527786164]
  メタ学習は、複数の関連するタスクからのデータを観察し、誘導バイアスを自動的に推論する。 本稿では,メタテスト中に目標タスク環境からタスクを抽出するトランスファーメタラーニングの問題を紹介する。
  論文  参考訳（メタデータ） (2020-11-04T12:55:43Z)
• The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning [50.21341246243422]
  バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。 本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。 次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T07:32:16Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。