論文の概要: InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

• arxiv url: http://arxiv.org/abs/2305.06500v2
• Date: Thu, 15 Jun 2023 08:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 00:59:02.140647
• Title: InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
• Title（参考訳）: InstructBLIP:インストラクションチューニングを用いた汎用視覚言語モデルを目指して
• Authors: Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, Steven Hoi
• Abstract要約: 我々は、事前訓練されたBLIP-2モデルに基づいて、視覚言語による指導のチューニングについて研究する。 InstructBLIPは、13のホールトアウトデータセットすべてにわたって、最先端のゼロショットパフォーマンスを実現する。 私たちのモデルは、個々の下流タスクに微調整された場合、最先端のパフォーマンスももたらします。
• 参考スコア（独自算出の注目度）: 43.54069813039309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-training and instruction tuning have been successful at creating general-purpose language models with broad competence. However, building general-purpose vision-language models is challenging due to the rich input distributions and task diversity resulting from the additional visual input. Although vision-language pretraining has been widely studied, vision-language instruction tuning remains under-explored. In this paper, we conduct a systematic and comprehensive study on vision-language instruction tuning based on the pretrained BLIP-2 models. We gather 26 publicly available datasets, covering a wide variety of tasks and capabilities, and transform them into instruction tuning format. Additionally, we introduce an instruction-aware Query Transformer, which extracts informative features tailored to the given instruction. Trained on 13 held-in datasets, InstructBLIP attains state-of-the-art zero-shot performance across all 13 held-out datasets, substantially outperforming BLIP-2 and larger Flamingo models. Our models also lead to state-of-the-art performance when finetuned on individual downstream tasks (e.g., 90.7% accuracy on ScienceQA questions with image contexts). Furthermore, we qualitatively demonstrate the advantages of InstructBLIP over concurrent multimodal models. All InstructBLIP models are open-sourced at https://github.com/salesforce/LAVIS/tree/main/projects/instructblip.
• Abstract（参考訳）: 大規模事前学習と指導訓練は、幅広い能力を持つ汎用言語モデルの作成に成功している。 しかし,視覚入力の追加による豊富な入力分布とタスクの多様性のため,汎用視覚言語モデルの構築は困難である。 視覚言語プレトレーニングは広く研究されているが、視覚言語インストラクションチューニングは未検討のままである。 本稿では,事前学習したBLIP-2モデルに基づく視覚言語指導の体系的・包括的研究を行う。 26の公開データセットを収集し、さまざまなタスクと機能をカバーし、それらをインストラクションチューニング形式に変換する。 さらに,与えられた命令に合わせた情報的特徴を抽出する命令対応クエリ変換器を導入する。 13のホールドインデータセットに基づいてトレーニングされたInstructBLIPは、13のホールドアウトデータセットすべてで最先端のゼロショットパフォーマンスを実現し、BLIP-2とより大きなFlamingoモデルを大幅に上回っている。 私たちのモデルは、個々の下流タスク(例えば、画像コンテキストのScienceQA質問における90.7%の精度)で微調整された場合、最先端のパフォーマンスにもつながります。 さらに,並列マルチモーダルモデルに対する命令BLIPの利点を質的に示す。 すべてのinstructblipモデルは、https://github.com/salesforce/lavis/tree/main/projects/instructblipでオープンソースである。

関連論文リスト

• MLAN: Language-Based Instruction Tuning Improves Zero-Shot Generalization of Multimodal Large Language Models [79.0546136194314]
  マルチモーダルな大規模言語モデルのゼロショットタスクの一般化を改善するために,新しい命令チューニング手法を提案する。 提案手法の有効性を,言語と視覚の両面にまたがる9つの未知のデータセットに対して評価した。
  論文  参考訳（メタデータ） (2024-11-15T20:09:59Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。 We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。 以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• What Matters in Training a GPT4-Style Language Model with Multimodal Inputs? [24.676820488258336]
  大規模言語モデル(LLM)は、与えられた画像のオープンエンド命令に従う際、例外的なマルチモーダル機能を示す。 これらのモデルは、ネットワーク構造、トレーニングデータ、トレーニング戦略などの設計選択に依存している。 本稿では,そのようなモデルの訓練について,定量的かつ質的に,体系的かつ包括的に研究する。
  論文  参考訳（メタデータ） (2023-07-05T17:44:28Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)
• Otter: A Multi-Modal Model with In-Context Instruction Tuning [30.804061018682244]
  本研究では,Flamingoモデルの上流型インターリーブ型事前学習データセットを動機として,マルチモーダルモデルにインストラクションチューニングを導入する。 次に、OpenFlamingo(DeepMindのFlamingoのオープンソース版)をベースとしたマルチモーダルモデルであるOtterを紹介し、MIMIC-ITでトレーニングし、改善された命令追従能力とコンテキスト内学習を示す。
  論文  参考訳（メタデータ） (2023-05-05T17:59:46Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。