論文の概要: Task-similarity Aware Meta-learning through Nonparametric Kernel Regression

• arxiv url: http://arxiv.org/abs/2006.07212v2
• Date: Mon, 12 Oct 2020 06:57:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:48:51.243957
• Title: Task-similarity Aware Meta-learning through Nonparametric Kernel Regression
• Title（参考訳）: 非パラメトリックカーネル回帰によるタスク類似性を考慮したメタラーニング
• Authors: Arun Venkitaraman, Anders Hansson, and Bo Wahlberg
• Abstract要約: 本稿では,非パラメトリックカーネル回帰を用いたタスク類似性を考慮したメタ学習アルゴリズムを提案する。 我々の仮説は、相似性の使用は、利用可能なタスクが限られており、不整合/相似タスクを含む場合、メタラーニングに役立つというものである。
• 参考スコア（独自算出の注目度）: 8.801367758434335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the use of nonparametric kernel-regression to obtain a tasksimilarity aware meta-learning algorithm. Our hypothesis is that the use of tasksimilarity helps meta-learning when the available tasks are limited and may contain outlier/ dissimilar tasks. While existing meta-learning approaches implicitly assume the tasks as being similar, it is generally unclear how this task-similarity could be quantified and used in the learning. As a result, most popular metalearning approaches do not actively use the similarity/dissimilarity between the tasks, but rely on availability of huge number of tasks for their working. Our contribution is a novel framework for meta-learning that explicitly uses task-similarity in the form of kernels and an associated meta-learning algorithm. We model the task-specific parameters to belong to a reproducing kernel Hilbert space where the kernel function captures the similarity across tasks. The proposed algorithm iteratively learns a meta-parameter which is used to assign a task-specific descriptor for every task. The task descriptors are then used to quantify the task-similarity through the kernel function. We show how our approach conceptually generalizes the popular meta-learning approaches of model-agnostic meta-learning (MAML) and Meta-stochastic gradient descent (Meta-SGD) approaches. Numerical experiments with regression tasks show that our algorithm outperforms these approaches when the number of tasks is limited, even in the presence of outlier or dissimilar tasks. This supports our hypothesis that task-similarity helps improve the metalearning performance in task-limited and adverse settings.
• Abstract（参考訳）: 本稿では,非パラメトリックカーネル回帰を用いたタスク類似性を考慮したメタ学習アルゴリズムを提案する。 我々の仮説では、task similarityの使用は、利用可能なタスクが制限され、outlier/dis similarタスクを含む場合にメタラーニングに役立つ。 既存のメタラーニングアプローチでは、タスクは暗黙的に類似していると仮定するが、このタスク類似性がどのように定量化され、学習に使用されるかは一般的に不明である。 その結果、最も一般的なメタラーニング手法は、タスク間の類似性や相違性を積極的に利用するのではなく、作業に大量のタスクを利用できることに依存している。 我々の貢献は、カーネルと関連するメタ学習アルゴリズムの形式でタスク類似性を明示的に利用するメタ学習のための新しいフレームワークである。 タスク特有のパラメータを、カーネル関数がタスク間の類似性をキャプチャする再生カーネルヒルベルト空間に属するようにモデル化する。 提案アルゴリズムは,タスクごとにタスク固有の記述子を割り当てるメタパラメータを反復的に学習する。 タスク記述子はカーネル関数を通してタスク類似性を定量化するために使用される。 本稿では,モデルに依存しないメタラーニング(MAML)とメタ確率勾配勾配(Meta-SGD)のアプローチを概念的に一般化する方法について述べる。 回帰タスクを用いた数値実験により,外乱や異種タスクが存在する場合でも,タスク数に制限がある場合,アルゴリズムはこれらの手法より優れることが示された。 これは、タスクの類似性がタスク限定および有害な設定におけるメタラーニングのパフォーマンスを改善するという仮説を支持します。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Data-Efficient and Robust Task Selection for Meta-Learning [1.4557421099695473]
  本稿では,データ効率とロバストタスク選択(DERTS)アルゴリズムを提案する。 DERTSはタスクプールからタスクプールの重み付けされたサブセットを選択し、メタトレーニング段階におけるタスクプールの全勾配の近似誤差を最小化する。 既存のアルゴリズムとは異なり、DERTSはトレーニングのためにアーキテクチャの変更を一切必要とせず、サポートセットとクエリセットの両方でノイズの多いラベルデータを処理できる。
  論文  参考訳（メタデータ） (2024-05-11T19:47:27Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Does MAML Only Work via Feature Re-use? A Data Centric Perspective [19.556093984142418]
  メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。 機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。 メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
  論文  参考訳（メタデータ） (2021-12-24T20:18:38Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning [44.320945743871285]
  メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
  論文  参考訳（メタデータ） (2021-01-21T01:38:16Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。