論文の概要: Unified Model for Image, Video, Audio and Language Tasks

• arxiv url: http://arxiv.org/abs/2307.16184v1
• Date: Sun, 30 Jul 2023 09:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 17:06:40.552899
• Title: Unified Model for Image, Video, Audio and Language Tasks
• Title（参考訳）: 画像・映像・音声・言語タスクのための統一モデル
• Authors: Mustafa Shukor, Corentin Dancette, Alexandre Rame, Matthieu Cord
• Abstract要約: UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
• 参考スコア（独自算出の注目度）: 94.83773798632896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have made the ambitious quest for generalist agents significantly far from being a fantasy. A key hurdle for building such general models is the diversity and heterogeneity of tasks and modalities. A promising solution is unification, allowing the support of a myriad of tasks and modalities within one unified framework. While few large models (e.g., Flamingo (Alayrac et al., 2022), trained on massive datasets, can support more than two modalities, current small to mid-scale unified models are still limited to 2 modalities, usually image-text or video-text. The question that we ask is: is it possible to build efficiently a unified model that can support all modalities? To answer this, we propose UnIVAL, a step further towards this ambitious goal. Without relying on fancy datasets sizes or models with billions of parameters, the ~ 0.25B parameter UnIVAL model goes beyond two modalities and unifies text, images, video, and audio into a single model. Our model is efficiently pretrained on many tasks, based on task balancing and multimodal curriculum learning. UnIVAL shows competitive performance to existing state-of-the-art approaches, across image and video-text tasks. The feature representations learned from image and video-text modalities, allows the model to achieve competitive performance when finetuned on audio-text tasks, despite not being pretrained on audio. Thanks to the unified model, we propose a novel study on multimodal model merging via weight interpolation of models trained on different multimodal tasks, showing their benefits in particular for out-of-distribution generalization. Finally, we motivate unification by showing the synergy between tasks. The model weights and code are released here: https://github.com/mshukor/UnIVAL.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、汎用エージェントの野心的な探求を幻想からかなり遠ざかっている。 このような一般的なモデルを構築する上で重要なハードルは、タスクとモダリティの多様性と多様性である。 有望な解決策は統一であり、一つの統一フレームワーク内で多数のタスクとモダリティをサポートすることができる。 大規模なデータセットで訓練されたFlamingo (Alayrac et al., 2022)のような大規模なモデルはほとんど2つのモダリティをサポートできないが、現在の小型モデルと中規模モデルはまだ2つのモダリティに制限されている。 すべてのモダリティを効率的にサポートする統一モデルを構築することは可能ですか? そこで我々は,この野心的な目標に向けての一歩として,UnIVALを提案する。 データセットのサイズや数十億のパラメータを持つモデルに頼ることなく、0.55bのパラメータユニバルモデルは2つのモダリティを超えて、テキスト、イメージ、ビデオ、オーディオを1つのモデルに統合します。 我々のモデルはタスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクで効率的に事前学習される。 UnIVALは、画像およびビデオテキストタスク間で、既存の最先端アプローチと競合するパフォーマンスを示す。 画像とビデオテキストのモダリティから学んだ特徴表現は、オーディオに事前学習されていないにもかかわらず、オーディオテキストタスクで微調整された場合、モデルが競合性能を達成することができる。 統一モデルにより,異なるマルチモーダルタスクで訓練されたモデルの重み補間によるマルチモーダルモデルマージに関する新しい研究を提案し,その効果を分散一般化に示している。 最後に,タスク間の相乗効果を示すことによって,統合の動機付けを行う。 モデルウェイトとコードは以下にリリースされている。

関連論文リスト

• 4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities [17.374241865041856]
  1つのモデルをトレーニングすることで、既存のモデルよりも少なくとも3倍多くのタスク/モダリティを解決し、パフォーマンスを損なうことなくそれを実行することが可能であることを示す。 数十のモダリティと異なるデータセットを使用して、トレーニングを30億のパラメータモデルに拡張することに成功しました。 得られたモデルとトレーニングコードは4m.epfl.chでオープンソース化されている。
  論文  参考訳（メタデータ） (2024-06-13T17:59:42Z)
• MOWA: Multiple-in-One Image Warping Model [65.73060159073644]
  本研究で提案するマルチ・イン・ワン・イメージ・ワープ・モデル(MOWA)について述べる。 領域レベルと画素レベルでの動作推定を両立させることにより,マルチタスク学習の難しさを軽減する。 私たちの知る限り、これは1つのモデルで複数の実用的なワープタスクを解決する最初の作業です。
  論文  参考訳（メタデータ） (2024-04-16T16:50:35Z)
• Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action [46.76487873983082]
  Unified-IO 2は、画像、テキスト、オーディオ、アクションの理解と生成が可能な最初の自己回帰型マルチモーダルモデルである。 我々は、多様な情報源から、大規模なマルチモーダル事前学習コーパスをスクラッチからトレーニングする。 単一の統一モデルにより、Unified-IO 2はGRITベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T17:57:06Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks [129.49630356651454]
  ファシオンに着目した視覚・言語タスクのための多タスク学習手法(FAME-ViL)を提案する。 我々のFAME-ViLは、代替案よりも61.5%のパラメータを節約できるが、従来の独立的に訓練されたシングルタスクモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2023-03-04T19:07:48Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。