論文の概要: Set-based Meta-Interpolation for Few-Task Meta-Learning

• arxiv url: http://arxiv.org/abs/2205.09990v3
• Date: Sat, 3 Jun 2023 16:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:21:56.119178
• Title: Set-based Meta-Interpolation for Few-Task Meta-Learning
• Title（参考訳）: Few-Taskメタラーニングのためのセットベースメタ補間
• Authors: Seanie Lee, Bruno Andreis, Kenji Kawaguchi, Juho Lee, Sung Ju Hwang
• Abstract要約: そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
• 参考スコア（独自算出の注目度）: 79.85241791994562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning approaches enable machine learning systems to adapt to new tasks given few examples by leveraging knowledge from related tasks. However, a large number of meta-training tasks are still required for generalization to unseen tasks during meta-testing, which introduces a critical bottleneck for real-world problems that come with only few tasks, due to various reasons including the difficulty and cost of constructing tasks. Recently, several task augmentation methods have been proposed to tackle this issue using domain-specific knowledge to design augmentation techniques to densify the meta-training task distribution. However, such reliance on domain-specific knowledge renders these methods inapplicable to other domains. While Manifold Mixup based task augmentation methods are domain-agnostic, we empirically find them ineffective on non-image domains. To tackle these limitations, we propose a novel domain-agnostic task augmentation method, Meta-Interpolation, which utilizes expressive neural set functions to densify the meta-training task distribution using bilevel optimization. We empirically validate the efficacy of Meta-Interpolation on eight datasets spanning across various domains such as image classification, molecule property prediction, text classification and speech recognition. Experimentally, we show that Meta-Interpolation consistently outperforms all the relevant baselines. Theoretically, we prove that task interpolation with the set function regularizes the meta-learner to improve generalization.
• Abstract（参考訳）: メタラーニングアプローチは、関連するタスクからの知識を活用し、いくつかの例で与えられた新しいタスクに機械学習システムが適応することを可能にする。 しかし、メタテスト中に未確認タスクを一般化するためには、まだ多くのメタトレーニングタスクが必要であり、タスク構築の困難さやコストなど様々な理由から、少数のタスクしか持たない現実的な問題に重大なボトルネックをもたらす。 近年,メタ学習タスクの分布を高密度化するために,ドメイン固有の知識を用いてタスク拡張手法が提案されている。 しかし、そのようなドメイン固有の知識に依存すると、これらのメソッドは他のドメインには適用できない。 Manifold Mixupをベースとしたタスク拡張手法はドメインに依存しないが,非イメージ領域では有効ではない。 そこで,これらの制約に対処するために,表現型ニューラルセット関数を用いた2レベル最適化によるメタ学習タスクの分散化を行う,新しいドメイン非依存タスク拡張法であるメタ補間を提案する。 画像分類,分子特性予測,テキスト分類,音声認識などの領域にまたがる8つのデータセットに対するメタ補間の有効性を実証的に検証した。 実験により,Meta-Interpolationは関連するすべてのベースラインを一貫して上回ることを示す。 理論的には、タスクと集合関数の補間は一般化を改善するためにメタリーナーを正則化する。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Meta Learning on a Sequence of Imbalanced Domains with Difficulty Awareness [6.648670454325191]
  現在のメタ学習アルゴリズムにまたがる典型的な設定は、メタトレーニング中に定常的なタスク分布を仮定する。 タスク分散とドメインラベルが本質的に利用できないような現実的なシナリオを考察する。 本稿では,ドメイン変更検出のためのカーネルベースの手法と,メモリ管理の難易度を考慮した機構を提案する。
  論文  参考訳（メタデータ） (2021-09-29T00:53:09Z)
• Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift [3.1219977244201056]
  ドメインシフトをシミュレートし、擬似タスクを生成する方法を学ぶためのモデルに依存しないシフト層を提案する。 擬似的なタスクに基づいて、メタ学習モデルはクロスドメインメタ知識を学習することができる。
  論文  参考訳（メタデータ） (2021-07-23T07:29:30Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures [61.73533544385352]
  本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。 MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
  論文  参考訳（メタデータ） (2020-06-13T02:54:59Z)
• Information-Theoretic Generalization Bounds for Meta-Learning and Applications [42.275148861039895]
  メタ学習の主なパフォーマンス指標は、メタ一般化ギャップである。 本稿ではメタ一般化ギャップに関する新しい情報理論上界について述べる。
  論文  参考訳（メタデータ） (2020-05-09T05:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。