論文の概要: EEML: Ensemble Embedded Meta-learning

• arxiv url: http://arxiv.org/abs/2206.09195v1
• Date: Sat, 18 Jun 2022 12:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 14:02:05.037112
• Title: EEML: Ensemble Embedded Meta-learning
• Title（参考訳）: EEML: 組込みメタラーニング
• Authors: Geng Li, Boyuan Ren, Hongzhi Wang
• Abstract要約: 本稿では,事前知識を多種多様な専門家に整理するために,マルチモデルアンサンブルを明示的に活用する組込みメタ学習アルゴリズム(EEML)を提案する。 トレーニングプロセスのエキスパートに多様なタスクを提供し、テストフェーズで専門家がどのように協力するかを指示するために、クラスタメカニズムを組み込むタスクに依存しています。 実験結果から,提案手法は,最近の最先端技術に優れることが示された。
• 参考スコア（独自算出の注目度）: 5.9514420658483935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accelerate learning process with few samples, meta-learning resorts to prior knowledge from previous tasks. However, the inconsistent task distribution and heterogeneity is hard to be handled through a global sharing model initialization. In this paper, based on gradient-based meta-learning, we propose an ensemble embedded meta-learning algorithm (EEML) that explicitly utilizes multi-model-ensemble to organize prior knowledge into diverse specific experts. We rely on a task embedding cluster mechanism to deliver diverse tasks to matching experts in training process and instruct how experts collaborate in test phase. As a result, the multi experts can focus on their own area of expertise and cooperate in upcoming task to solve the task heterogeneity. The experimental results show that the proposed method outperforms recent state-of-the-arts easily in few-shot learning problem, which validates the importance of differentiation and cooperation.
• Abstract（参考訳）: わずかなサンプルで学習プロセスを加速するために、メタラーニングは以前のタスクから事前の知識に頼る。 しかし、不整合タスク分布と不均一性は、グローバルな共有モデル初期化によって扱うことは困難である。 本稿では,勾配に基づくメタラーニングに基づいて,複数モデルアンサンブルを明示的に活用し,事前知識を多種多様な専門家に分類するアンサンブル組込みメタラーニングアルゴリズム(EEML)を提案する。 トレーニングプロセスのエキスパートに多様なタスクを提供し、テストフェーズで専門家がどのように協力するかを指示するために、クラスタメカニズムを組み込むタスクに依存しています。 その結果、複数の専門家が自身の専門分野に集中し、今後の課題に協力してタスクの不均一性を解決することができる。 実験の結果, 提案手法は, 分化と協調の重要性を検証し, 単発学習問題において, 近年の最先端技術に匹敵することがわかった。

関連論文リスト

• Towards Multi-Objective High-Dimensional Feature Selection via Evolutionary Multitasking [63.91518180604101]
  本稿では,高次元特徴選択問題,すなわちMO-FSEMTのための新しいEMTフレームワークを開発する。 タスク固有の知識伝達機構は、各タスクの利点情報を活用するように設計され、高品質なソリューションの発見と効果的な伝達を可能にする。
  論文  参考訳（メタデータ） (2024-01-03T06:34:39Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Meta-Reinforcement Learning via Exploratory Task Clustering [43.936406999765886]
  本研究は,分譲・分譲によるタスク構造発見のための専門的な探索政策を開発する。 識別されたクラスタの知識は、タスク固有の情報の検索スペースを狭めるのに役立つ。 様々な MuJoCo タスクの実験により、提案手法は、報酬と状態のダイナミクスの両方において、クラスタ構造を効果的に解き放つことができることを示した。
  論文  参考訳（メタデータ） (2023-02-15T21:42:38Z)
• Modular Approach to Machine Reading Comprehension: Mixture of Task-Aware Experts [0.5801044612920815]
  比較的小さなデータセット上で、機械読解のためのタスク認識エキスパートネットワークの混合について述べる。 我々は、常識学習の問題に焦点をあて、共通基盤知識を強制する。 我々は近年のマルチタスクとトランスファーラーニングの進歩に注目する。
  論文  参考訳（メタデータ） (2022-10-04T17:13:41Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.85241791994562]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Leveraging convergence behavior to balance conflicting tasks in multi-task learning [3.6212652499950138]
  マルチタスク学習は、パフォーマンスの一般化を改善するために相関タスクを使用する。 タスクは互いに衝突することが多いため、複数のタスクの勾配をどのように組み合わせるべきかを定義するのは難しい。 バックプロパゲーション中の各タスクの重要度を調整する動的バイアスを生成するために,勾配の時間的挙動を考慮した手法を提案する。
  論文  参考訳（メタデータ） (2022-04-14T01:52:34Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。