論文の概要: HetMAML: Task-Heterogeneous Model-Agnostic Meta-Learning for Few-Shot Learning Across Modalities

• arxiv url: http://arxiv.org/abs/2105.07889v1
• Date: Mon, 17 May 2021 14:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:49:47.118037
• Title: HetMAML: Task-Heterogeneous Model-Agnostic Meta-Learning for Few-Shot Learning Across Modalities
• Title（参考訳）: HetMAML: 課題不均一なモデルに依存しないメタラーニング
• Authors: Jiayi Chen, Aidong Zhang
• Abstract要約: HetMAMLはタスク異種メタ非依存メタラーニングフレームワークである。 タスク固有の入力構造のコンテキストを自動的に考慮できるタスク認識型マルチモーダルエンコーダを提案する。
• 参考スコア（独自算出の注目度）: 39.134658467172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most of existing gradient-based meta-learning approaches to few-shot learning assume that all tasks have the same input feature space. However, in the real world scenarios, there are many cases that the input structures of tasks can be different, that is, different tasks may vary in the number of input modalities or the data structure of each modality. Existing gradient-based approaches cannot handle such heterogeneous task distribution (HTD) as different types of tasks only share partial meta-parameters. In this paper, we propose HetMAML, a task-heterogeneous meta-agnostic meta-learning framework that can generalize not only common meta-parameters shared across different types of tasks but also type-specific meta-parameters. Specifically, we design a multi-channel backbone module that encodes the input of each type of tasks into the same length sequence of modality-specific embeddings. Then, we propose a task-aware multimodal encoder which can automatically take into account the context of task-specific input structures and adaptively project the heterogeneous input spaces to the same lower-dimensional concept space. The extensive experiments on five task-heterogeneous datasets demonstrate that our HetMAML successfully captures both type-specific and shared meta-parameters across heterogeneous tasks which fast adapt to all types of new tasks.
• Abstract（参考訳）: 既存のグラデーションベースのメタ学習アプローチのほとんどは、すべてのタスクが同じ入力機能空間を持っていると仮定している。 しかし、現実のシナリオでは、タスクの入力構造が異なる可能性がある、すなわち、異なるタスクは、入力モダリティの数や各モダリティのデータ構造によって異なる可能性がある。 既存の勾配に基づくアプローチでは、タスクの種類によって部分的メタパラメータしか共有できないため、そのような異種タスク分散(HTD)は処理できない。 本稿では,多種多様なタスク間で共有される共通メタパラメータだけでなく,タイプ固有のメタパラメータも一般化可能なタスク異種メタ学習フレームワークであるHetMAMLを提案する。 具体的には、各タスクの入力をモダリティ固有の埋め込みの同じ長さシーケンスに符号化するマルチチャネルバックボーンモジュールを設計する。 そして,タスク固有の入力構造のコンテキストを自動的に考慮し,不均一な入力空間を同じ低次元の概念空間に適応的に投影するタスク対応マルチモーダルエンコーダを提案する。 5つのタスクヘテロジニアスデータセットに関する広範な実験により、HetMAMLは、あらゆる種類の新しいタスクに迅速に適応する異種タスクに対して、タイプ固有のメタパラメータと共有メタパラメータの両方をキャプチャすることに成功した。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
  本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。 単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2023-05-11T17:57:49Z)
• On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
  マルチタスク学習の研究はコミュニティから大きな注目を集めている。 目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。 従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。 本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。 さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
  論文  参考訳（メタデータ） (2022-03-06T11:57:18Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• ST-MAML: A Stochastic-Task based Method for Task-Heterogeneous Meta-Learning [12.215288736524268]
  本稿では,モデルに依存しないメタラーニング(MAML)を複数のタスク分布から学習するための新しい手法ST-MAMLを提案する。 そこで本研究では,ST-MAMLが2つの画像分類タスク,1つの曲線評価ベンチマーク,1つの画像補完問題,および実世界の温度予測アプリケーションにおいて,最先端の映像分類タスクに適合または優れることを示す。
  論文  参考訳（メタデータ） (2021-09-27T18:54:50Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。