Fugu-MT 論文翻訳(概要): An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning

論文の概要: An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning

arxiv url: http://arxiv.org/abs/2101.08390v2
Date: Mon, 25 Jan 2021 04:55:27 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 07:45:20.233442
Title: An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning
Title（参考訳）: タスク類似性がメタラーニングに与える影響に関する情報理論解析
Authors: Sharu Theresa Jose and Osvaldo Simeone
Abstract要約: メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
参考スコア（独自算出の注目度）: 44.320945743871285
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Meta-learning aims at optimizing the hyperparameters of a model class or training algorithm from the observation of data from a number of related tasks. Following the setting of Baxter [1], the tasks are assumed to belong to the same task environment, which is defined by a distribution over the space of tasks and by per-task data distributions. The statistical properties of the task environment thus dictate the similarity of the tasks. The goal of the meta-learner is to ensure that the hyperparameters obtain a small loss when applied for training of a new task sampled from the task environment. The difference between the resulting average loss, known as meta-population loss, and the corresponding empirical loss measured on the available data from related tasks, known as meta-generalization gap, is a measure of the generalization capability of the meta-learner. In this paper, we present novel information-theoretic bounds on the average absolute value of the meta-generalization gap. Unlike prior work [2], our bounds explicitly capture the impact of task relatedness, the number of tasks, and the number of data samples per task on the meta-generalization gap. Task similarity is gauged via the Kullback-Leibler (KL) and Jensen-Shannon (JS) divergences. We illustrate the proposed bounds on the example of ridge regression with meta-learned bias.
Abstract（参考訳）: メタラーニングは、関連するタスクからのデータ観測からモデルクラスやトレーニングアルゴリズムのハイパーパラメータを最適化することを目的としている。 baxter [1] の設定に続いて、タスクはタスク空間上の分散とタスクごとのデータ分散によって定義される同じタスク環境に属すると仮定される。したがって、タスク環境の統計的性質はタスクの類似性を決定する。 meta-learnerの目標は、タスク環境からサンプリングされた新しいタスクのトレーニングに適用されると、ハイパーパラメータがわずかな損失を得るようにすることである。結果として生じる平均損失(メタ人口損失)と、メタ一般化ギャップ(meta-generalization gap)として知られる関連するタスクから得られる利用可能なデータに基づいて測定される経験的損失(experience loss)との差は、メタリーナーの一般化能力の尺度である。本稿では,メタ一般化ギャップの平均絶対値に関する新しい情報理論的境界を提案する。従来の作業[2]とは違って,タスク関連性,タスク数,タスク毎のデータサンプル数がメタ一般化ギャップに与える影響を明確に把握する。タスクの類似性は、KL(Kullback-Leibler)とJS(Jensen-Shannon)の分岐によって測定される。本稿では,メタ学習バイアスを伴うリッジ回帰の例で提案する境界を説明する。