論文の概要: Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts
- arxiv url: http://arxiv.org/abs/2305.07019v2
- Date: Thu, 14 Mar 2024 20:30:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 07:42:00.939705
- Title: Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts
- Title（参考訳）: Musketeer:タスク説明プロンプトを用いたマルチタスク視覚言語モデルの合同トレーニング
- Authors: Zhaoyang Zhang, Yantao Shen, Kunyu Shi, Zhaowei Cai, Jun Fang, Siqi Deng, Hao Yang, Davide Modolo, Zhuowen Tu, Stefano Soatto,
- Abstract要約: 本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。
単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
- 参考スコア（独自算出の注目度）: 75.75548749888029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a vision-language model whose parameters are jointly trained on all tasks and fully shared among multiple heterogeneous tasks which may interfere with each other, resulting in a single model which we named Musketeer. The integration of knowledge across heterogeneous tasks is enabled by a novel feature called Task Explanation Prompt (TEP). With rich and structured information such as task input/output format, TEP reduces interference among tasks, allowing the model to focus on their shared structure. With a single model, Musketeer achieves results comparable to or better than strong baselines trained on single tasks, almost uniformly across multiple tasks.
- Abstract（参考訳）: 我々は,全てのタスクでパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。
不均一なタスクにまたがる知識の統合は、タスク説明プロンプト(TEP)と呼ばれる新しい機能によって実現される。
タスク入力/出力フォーマットなどのリッチで構造化された情報により、TEPはタスク間の干渉を減らし、モデルが共有構造に集中できるようにする。
単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
関連論文リスト
- LIMT: Language-Informed Multi-Task Visual World Models [6.128332310539627]
マルチタスク強化学習は、サンプルの複雑さの増加と、潜在的に矛盾するタスクの目的のため、非常に難しい。
本稿では,事前学習した言語モデルを利用して意味のあるタスク表現を抽出し,マルチタスクのビジュアルワールドモデルを学習する手法を提案する。
本結果は,世界モデルにおける言語駆動型タスク表現の利点と,より一般的なモデル自由パラダイムに対するモデルベースマルチタスク学習の明確な利点を強調した。
論文 参考訳（メタデータ） (2024-07-18T12:40:58Z) - Multitask Multimodal Prompted Training for Interactive Embodied Task
Completion [48.69347134411864]
Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。
すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
論文 参考訳（メタデータ） (2023-11-07T15:27:52Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2022-12-15T18:59:52Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳（メタデータ） (2022-12-08T17:07:09Z) - Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。
タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。
これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
論文 参考訳（メタデータ） (2022-04-16T00:56:12Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳（メタデータ） (2021-12-02T18:59:50Z) - Exploring Multitask Learning for Low-Resource AbstractiveSummarization [0.5801044612920816]
多くのタスクの組み合わせに対して、マルチタスク設定で訓練されたモデルが抽象的な要約のために訓練されたモデルより優れていることを示す。
また、あるタスクは他のタスクと組み合わせるだけでなく、異なるアーキテクチャやトレーニングコーパスを使用する場合にも、抽象的な要約に一貫した利益が得られます。
論文 参考訳（メタデータ） (2021-09-17T14:23:58Z) - Latent Group Structured Multi-task Learning [2.827177139912107]
マルチタスク学習(MTL)では,様々なタスクを共同で学習することで,鍵となる機械学習アルゴリズムの性能を向上させる。
本稿では,事前情報によって定義されたグループ構造化タスクを奨励するグループ構造化潜在空間マルチタスク学習モデルを提案する。
合成データセットと実世界のデータセットの両方で実験が行われ、シングルタスク学習よりも競争力のあるパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-11-24T05:38:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。