論文の概要: MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks

• arxiv url: http://arxiv.org/abs/2305.10309v1
• Date: Wed, 17 May 2023 15:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 15:01:19.676255
• Title: MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks
• Title（参考訳）: メタモミュレーション:少ないタスクによるFew-Shot学習のための変分特徴階層学習
• Authors: Wenfang Sun, Yingjun Du, Xiantong Zhen, Fan Wang, Ling Wang, Cees G.M. Snoek
• Abstract要約: 本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
• 参考スコア（独自算出の注目度）: 63.016244188951696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning algorithms are able to learn a new task using previously learned knowledge, but they often require a large number of meta-training tasks which may not be readily available. To address this issue, we propose a method for few-shot learning with fewer tasks, which we call MetaModulation. The key idea is to use a neural network to increase the density of the meta-training tasks by modulating batch normalization parameters during meta-training. Additionally, we modify parameters at various network levels, rather than just a single layer, to increase task diversity. To account for the uncertainty caused by the limited training tasks, we propose a variational MetaModulation where the modulation parameters are treated as latent variables. We also introduce learning variational feature hierarchies by the variational MetaModulation, which modulates features at all layers and can consider task uncertainty and generate more diverse tasks. The ablation studies illustrate the advantages of utilizing a learnable task modulation at different levels and demonstrate the benefit of incorporating probabilistic variants in few-task meta-learning. Our MetaModulation and its variational variants consistently outperform state-of-the-art alternatives on four few-task meta-learning benchmarks.
• Abstract（参考訳）: メタ学習アルゴリズムは、以前に学習した知識を使って新しいタスクを学習することができるが、容易には利用できない大量のメタ学習タスクを必要とすることが多い。 この問題に対処するために,我々はメタモジュレーションと呼ぶ少ないタスクで,数発学習する手法を提案する。 キーとなるアイデアは、ニューラルネットワークを使用して、メタトレーニング中のバッチ正規化パラメータを変調することで、メタトレーニングタスクの密度を高めることだ。 さらに、タスクの多様性を高めるために、単一の層ではなく、さまざまなネットワークレベルでパラメータを変更します。 限られた訓練作業によって生じる不確実性を考慮するため,変調パラメータを潜時変数として扱う変分メタ変調を提案する。 また,全ての階層における特徴を変調し,タスクの不確実性を考慮し,より多様なタスクを生成する変分メタ変調による学習的特徴階層も導入する。 アブレーション研究は、異なるレベルで学習可能なタスク変調を利用することの利点を示し、少数タスクメタラーニングにおける確率的変種の導入の利点を示す。 私たちのMetaModulationとその変分変異は、4つの数タスクメタラーニングベンチマークにおいて、最先端の代替よりも一貫して優れています。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Invariant Meta Learning for Out-of-Distribution Generalization [1.1718589131017048]
  本稿では,アウト・オブ・ディストリビューションタスクのための不変なメタ学習を提案する。 具体的には、不変な最適メタ初期化と、正規化ペナルティを持つ配布外タスクへの迅速な適応である。
  論文  参考訳（メタデータ） (2023-01-26T12:53:21Z)
• Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification [28.38744876121834]
  本稿では,知識向上のための新しいアプローチであるCAML(Contrastive Knowledge-Augmented Meta Learning)を紹介する。 そこで我々は,CAMLの性能を,様々な場面で評価した。
  論文  参考訳（メタデータ） (2022-07-25T17:01:29Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。