論文の概要: Revisit Multimodal Meta-Learning through the Lens of Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2110.14202v1
• Date: Wed, 27 Oct 2021 06:23:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:26:32.006093
• Title: Revisit Multimodal Meta-Learning through the Lens of Multi-Task Learning
• Title（参考訳）: マルチタスク学習レンズを用いたマルチモーダルメタラーニングの再検討
• Authors: Milad Abdollahzadeh, Touba Malekzadeh, Ngai-Man Cheung
• Abstract要約: マルチモーダルなメタラーニングは、その設定を多様なマルチモーダルなタスク分布に一般化することで、従来の数発メタラーニングを拡張した最近の問題である。 これまでの研究では、マルチモーダル分布で訓練された1つのメタラーナーは、個々の単調分布で訓練された複数のメタラーナーを上回ることがあると主張している。 まず,マイクロレベルで異なるモードのタスク間の知識伝達を定量化する手法を提案する。 第二に、マルチタスク学習におけるハードパラメータ共有と関連する作業の新たな解釈から着想を得た、新しいマルチモーダルメタラーンを提案する。
• 参考スコア（独自算出の注目度）: 33.19179706038397
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal meta-learning is a recent problem that extends conventional few-shot meta-learning by generalizing its setup to diverse multimodal task distributions. This setup makes a step towards mimicking how humans make use of a diverse set of prior skills to learn new skills. Previous work has achieved encouraging performance. In particular, in spite of the diversity of the multimodal tasks, previous work claims that a single meta-learner trained on a multimodal distribution can sometimes outperform multiple specialized meta-learners trained on individual unimodal distributions. The improvement is attributed to knowledge transfer between different modes of task distributions. However, there is no deep investigation to verify and understand the knowledge transfer between multimodal tasks. Our work makes two contributions to multimodal meta-learning. First, we propose a method to quantify knowledge transfer between tasks of different modes at a micro-level. Our quantitative, task-level analysis is inspired by the recent transference idea from multi-task learning. Second, inspired by hard parameter sharing in multi-task learning and a new interpretation of related work, we propose a new multimodal meta-learner that outperforms existing work by considerable margins. While the major focus is on multimodal meta-learning, our work also attempts to shed light on task interaction in conventional meta-learning. The code for this project is available at https://miladabd.github.io/KML.
• Abstract（参考訳）: マルチモーダルメタラーニング(multimodal meta-learning)は、様々なマルチモーダルタスク分布にそのセットアップを一般化することにより、従来の少数ショットメタラーニングを拡張した最近の問題である。 このセットアップは、人間が新しいスキルを学ぶために、様々な事前スキルを利用する方法を模倣するためのステップとなる。 これまでの仕事は成果を上げている。 特に、マルチモーダルなタスクの多様性にもかかわらず、以前の研究では、マルチモーダル分布で訓練された単一のメタリーナーが、個々のユニモーダル分布で訓練された複数の特別なメタリーナーを上回ることがあると主張している。 この改善は、タスク分布の異なるモード間の知識伝達に起因する。 しかし,マルチモーダルタスク間の知識伝達を検証し理解するための深い調査は行われていない。 我々の研究はマルチモーダルなメタラーニングに2つの貢献をしている。 まず,異なるモードのタスク間の知識伝達をマイクロレベルで定量化する手法を提案する。 我々の量的、タスクレベルの分析は、近年のマルチタスク学習からの伝達アイデアにインスパイアされている。 第2に,マルチタスク学習におけるハードパラメータ共有と関連する作業の新しい解釈に触発され,既存の作業を大幅に上回る新たなマルチモーダルメタリーナーを提案する。 主な焦点はマルチモーダルなメタラーニングであるが、我々の研究は従来のメタラーニングにおけるタスクインタラクションにも光を当てようとしている。 プロジェクトのコードはhttps://miladabd.github.io/KMLで公開されている。

関連論文リスト

• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• Meta Learning to Bridge Vision and Language Models for Multimodal Few-Shot Learning [38.37682598345653]
  視覚モデルと言語モデルとのギャップを埋めるために,マルチモーダルなメタ学習手法を導入する。 我々は,凍結した大規模視覚と言語モデルを効率的にブリッジするためにメタラーナーとして機能するメタマッパーネットワークを定義する。 我々は,最近提案されたマルチモーダル・スショット・ベンチマークに対するアプローチを評価し,新しい視覚概念を単語に結合する速度を計測した。
  論文  参考訳（メタデータ） (2023-02-28T17:46:18Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Multi-Task Learning for Visual Scene Understanding [7.191593674138455]
  この論文はコンピュータビジョンの文脈におけるマルチタスク学習に関するものである。 マルチタスク学習の重要な側面に対処するいくつかの手法を提案する。 その結果,マルチタスク学習の最先端にいくつかの進歩が見られた。
  論文  参考訳（メタデータ） (2022-03-28T16:57:58Z)
• Modular Adaptive Policy Selection for Multi-Task Imitation Learning through Task Division [60.232542918414985]
  マルチタスク学習は、しばしば負の伝達に悩まされ、タスク固有の情報を共有する。 これは、プロトポリケーションをモジュールとして使用して、タスクを共有可能な単純なサブ振る舞いに分割する。 また、タスクを共有サブ行動とタスク固有のサブ行動の両方に自律的に分割する能力を示す。
  論文  参考訳（メタデータ） (2022-03-28T15:53:17Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks [9.278739724750343]
  マルチタスク学習(マルチタスクきゅう、英: Multi-task learning)とは、機械学習において、ネットワークがタスクの取得を容易にするために様々なタスクで訓練されるパラダイムである。 マルチタスクは、特に認知科学の文献において、複数のタスクを同時に実行する能力を示すために用いられる。 深層ネットワークでも同様の緊張が生じていることを示し、エージェントが不慣れな環境でこのトレードオフを管理するためのメタ学習アルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-07-20T23:26:16Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。