論文の概要: TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones

• arxiv url: http://arxiv.org/abs/2312.16862v3
• Date: Fri, 21 Jun 2024 07:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 20:08:09.353231
• Title: TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones
• Title（参考訳）: TinyGPT-V:小さなバックボーンによる効率的なマルチモーダル大言語モデル
• Authors: Zhengqing Yuan, Zhaoxu Li, Weiran Huang, Yanfang Ye, Lichao Sun,
• Abstract要約: 本稿では,様々な視覚言語タスクを対象とした効率的なトレーニングと推論を目的とした,オープンソースのMLLMであるTinyGPT-Vを紹介する。 言語モデル280億のパラメータで、TinyGPT-VはVQAと画像推論タスクにおいて、より大きなパラメータに匹敵する結果を達成している。
• 参考スコア（独自算出の注目度）: 18.954681684239358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, multimodal large language models (MLLMs) such as GPT-4V have demonstrated remarkable advancements, excelling in a variety of vision-language tasks. Despite their prowess, the closed-source nature and computational demands of such models limit their accessibility and applicability. This study introduces TinyGPT-V, a novel open-source MLLM, designed for efficient training and inference across various vision-language tasks, including image captioning (IC) and visual question answering (VQA). Leveraging a compact yet powerful architecture, TinyGPT-V integrates the Phi-2 language model with pre-trained vision encoders, utilizing a unique mapping module for visual and linguistic information fusion. With a training regimen optimized for small backbones and employing a diverse dataset amalgam, TinyGPT-V requires significantly lower computational resources 24GB for training and as little as 8GB for inference without compromising on performance. Our experiments demonstrate that TinyGPT-V, with its language model 2.8 billion parameters, achieves comparable results in VQA and image inference tasks to its larger counterparts while being uniquely suited for deployment on resource-constrained devices through innovative quantization techniques. This work not only paves the way for more accessible and efficient MLLMs but also underscores the potential of smaller, optimized models in bridging the gap between high performance and computational efficiency in real-world applications. Additionally, this paper introduces a new approach to multimodal large language models using smaller backbones. Our code and training weights are available in the supplementary material.
• Abstract（参考訳）: 近年, GPT-4V のようなマルチモーダル大規模言語モデル (MLLM) は, 様々な視覚言語タスクに優れ, 顕著な進歩を見せている。 その技術にもかかわらず、そのようなモデルのクローズドソースの性質と計算上の要求はアクセシビリティと適用性を制限する。 本研究は,画像キャプション(IC)や視覚質問応答(VQA)など,視覚言語タスクの効率的なトレーニングと推論を目的とした,オープンソースのMLLMであるTinyGPT-Vを紹介する。 TinyGPT-Vは、コンパクトだが強力なアーキテクチャを活用し、Phi-2言語モデルと事前訓練された視覚エンコーダを統合し、視覚情報と言語情報の融合のためのユニークなマッピングモジュールを利用する。 小さなバックボーンに最適化されたトレーニングレギュラーと多様なデータセットアマルガムを使用するため、TinyGPT-Vはトレーニングに24GB、パフォーマンスを損なうことなく推論に8GBの計算リソースを必要とする。 我々の実験は、TinyGPT-Vが言語モデル2.8億のパラメータを持つことにより、VQAと画像推論タスクに匹敵する結果を得ると同時に、革新的な量子化技術によるリソース制約されたデバイスへの展開に一意に適していることを示した。 この作業は、よりアクセスしやすく効率的なMLLMの道を開くだけでなく、現実世界のアプリケーションにおける高性能と計算効率のギャップを埋める上で、より小さく最適化されたモデルの可能性を強調している。 さらに,より小さなバックボーンを用いたマルチモーダルな大規模言語モデルに対する新しいアプローチを提案する。 私たちのコードとトレーニングの重みは補足資料で利用可能です。

関連論文リスト

• Tele-FLM Technical Report [96.19923831660266]
  52Bのオープンソース多言語大言語モデルであるTele-FLM(別名FLM-2)を紹介する。 安定的で効率的な事前訓練のパラダイムと、事実判断能力の強化が特徴である。 これは、Llama2-70BやDeepSeek-67Bのようなより大きな事前学習FLOPを含む強力なオープンソースモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-04-25T14:34:47Z)
• Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities [11.53488611812612]
  近年のVision-Language(VL)モデルの進歩は、エッジデバイスへの展開への関心を喚起している。 We introduced EdgeVL, a novel framework that seamlessly integrates dual-modality knowledge distillation and Quantization-aware contrastive learning。 私たちの研究は、エッジデプロイメントに大規模なVLモデルを適応するための最初の体系的な取り組みであり、複数のデータセットで最大15.4%の精度向上と、最大93倍のモデルサイズ削減を示している。
  論文  参考訳（メタデータ） (2024-03-07T21:34:40Z)
• Efficient Multimodal Learning from Data-centric Perspective [21.35857180519653]
  効率的なマルチモーダル学習のためのフレキシブルビジョンと言語バックボーンを備えた軽量MLLMのファミリであるBunnyを紹介する。 実験の結果,Bunny-4B/8Bは複数のベンチマークで最先端の大規模MLLMよりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T10:09:10Z)
• LLaVA-Phi: Efficient Multi-Modal Assistant with Small Language Model [20.209674713676872]
  効率的なマルチモーダルアシスタントであるLLaVA-$phi$(LLaVA-Phi)を紹介する。 LLaVA-Phiは、最近進歩した小言語モデルPhi-2のパワーを利用する。
  論文  参考訳（メタデータ） (2024-01-04T16:07:43Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• HyperPELT: Unified Parameter-Efficient Language Model Tuning for Both Language and Vision-and-Language Tasks [38.43269863509866]
  パラメータ効率のよい微調整をいかに行うかは、素早い移動学習と展開においてかなり重要になっている。 我々は、純粋言語とV&Lタスクの両方で効果的に機能する新しいパラメータ効率変換学習フレームワークを設計する。 提案フレームワークは,マルチタスク学習におけるトレーニング可能なパラメータを少なくし,最先端の手法に比べて優れた性能と伝達能力を実現している。
  論文  参考訳（メタデータ） (2022-03-08T06:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。