論文の概要: TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones
- arxiv url: http://arxiv.org/abs/2312.16862v1
- Date: Thu, 28 Dec 2023 07:11:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 16:58:02.806270
- Title: TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones
- Title（参考訳）: TinyGPT-V:小さなバックボーンによる効率的なマルチモーダル大言語モデル
- Authors: Zhengqing Yuan, Zhaoxu Li, Lichao Sun
- Abstract要約: 本稿では,TinyGPT-Vについて紹介する。
Phi-2上に構築されたTinyGPT-Vは、BLIP-2やCLIPから事前訓練された視覚モジュールと効果的な言語バックボーンを結合する。
我々の研究は、コスト効率、効率的、高性能なMLLMを設計するためのさらなる開発を促進する。
- 参考スコア（独自算出の注目度）: 9.649518201893164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of advanced multimodel learning, multimodal large language models
(MLLMs) such as GPT-4V have made remarkable strides towards bridging language
and visual elements. However, the closed-source nature and considerable
computational demand present notable challenges for universal usage and
modifications. This is where open-source MLLMs like LLaVA and MiniGPT-4 come
in, presenting groundbreaking achievements across tasks. Despite these
accomplishments, computational efficiency remains an unresolved issue, as these
models, like LLaVA-v1.5-13B, require substantial resources. Addressing these
issues, we introduce TinyGPT-V, a new-wave model marrying impressive
performance with commonplace computational capacity. It stands out by requiring
merely a 24G GPU for training and an 8G GPU or CPU for inference. Built upon
Phi-2, TinyGPT-V couples an effective language backbone with pre-trained vision
modules from BLIP-2 or CLIP. TinyGPT-V's 2.8B parameters can undergo a unique
quantisation process, suitable for local deployment and inference tasks on 8G
various devices. Our work fosters further developments for designing
cost-effective, efficient, and high-performing MLLMs, expanding their
applicability in a broad array of real-world scenarios. Furthermore this paper
proposed a new paradigm of Multimodal Large Language Model via small backbones.
Our code and training weights are placed at:
https://github.com/DLYuanGod/TinyGPT-V and
https://huggingface.co/Tyrannosaurus/TinyGPT-V respectively.
- Abstract（参考訳）: 先進的なマルチモデル学習の時代、GPT-4Vのようなマルチモーダルな大規模言語モデル(MLLM)は、ブリッジング言語や視覚要素に顕著な進歩を遂げてきた。
しかし、クローズドソースの性質と相当な計算要求は、普遍的な使用と修正に顕著な課題をもたらす。
そこでLLaVAやMiniGPT-4といったオープンソースのMLLMが登場し、タスク全体での画期的な成果が示されています。
これらの成果にもかかわらず、LLaVA-v1.5-13Bのような計算効率は未解決の問題のままである。
これらの問題に対処するため、我々はTinyGPT-Vを導入した。
トレーニングには24GのGPU、推論には8GのGPUまたはCPUが必要だ。
Phi-2上に構築されたTinyGPT-Vは、BLIP-2やCLIPから事前訓練された視覚モジュールと効果的な言語バックボーンを結合する。
TinyGPT-Vの2.8Bパラメータは、ローカルな配置と8Gデバイスでの推論タスクに適したユニークな量子化プロセスを実行することができる。
我々の研究は、コスト効率、効率、高性能なMLLMを設計するためのさらなる開発を奨励し、様々な現実のシナリオで適用範囲を広げる。
さらに,小型バックボーンを用いたマルチモーダル大規模言語モデルの新たなパラダイムを提案する。
コードとトレーニングの重みはそれぞれ、https://github.com/DLYuanGod/TinyGPT-Vとhttps://huggingface.co/Tyrannosaurus/TinyGPT-Vです。
関連論文リスト
- ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。
我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
論文 参考訳（メタデータ） (2024-10-23T11:31:06Z) - Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。
我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文 参考訳（メタデータ） (2024-10-21T17:58:20Z) - EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。
EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-02T23:00:31Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities [11.53488611812612]
近年のVision-Language(VL)モデルの進歩は、エッジデバイスへの展開への関心を喚起している。
We introduced EdgeVL, a novel framework that seamlessly integrates dual-modality knowledge distillation and Quantization-aware contrastive learning。
私たちの研究は、エッジデプロイメントに大規模なVLモデルを適応するための最初の体系的な取り組みであり、複数のデータセットで最大15.4%の精度向上と、最大93倍のモデルサイズ削減を示している。
論文 参考訳（メタデータ） (2024-03-07T21:34:40Z) - Efficient Multimodal Learning from Data-centric Perspective [21.35857180519653]
効率的なマルチモーダル学習のためのフレキシブルビジョンと言語バックボーンを備えた軽量MLLMのファミリであるBunnyを紹介する。
実験の結果,Bunny-4B/8Bは複数のベンチマークで最先端の大規模MLLMよりも優れていた。
論文 参考訳（メタデータ） (2024-02-18T10:09:10Z) - Position-Enhanced Visual Instruction Tuning for Multimodal Large
Language Models [50.07056960586183]
MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。
この統合により、MLLMの画像のより詳細な理解が促進される。
本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
論文 参考訳（メタデータ） (2023-08-25T15:33:47Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳（メタデータ） (2022-04-05T16:11:45Z) - HyperPELT: Unified Parameter-Efficient Language Model Tuning for Both
Language and Vision-and-Language Tasks [38.43269863509866]
パラメータ効率のよい微調整をいかに行うかは、素早い移動学習と展開においてかなり重要になっている。
我々は、純粋言語とV&Lタスクの両方で効果的に機能する新しいパラメータ効率変換学習フレームワークを設計する。
提案フレームワークは,マルチタスク学習におけるトレーニング可能なパラメータを少なくし,最先端の手法に比べて優れた性能と伝達能力を実現している。
論文 参考訳（メタデータ） (2022-03-08T06:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。