論文の概要: mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs
- arxiv url: http://arxiv.org/abs/2307.06930v2
- Date: Mon, 2 Oct 2023 11:58:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 13:42:52.710546
- Title: mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs
- Title(参考訳): mBLIP:多言語ビジョンLLMの効率的なブートストラップ
- Authors: Gregor Geigle, Abhay Jain, Radu Timofte, Goran Glava\v{s}
- Abstract要約: 我々は、コンシューマハードウェア上で、数百万のトレーニング例を使用して、最初の多言語ビジョン-LLMであるmBLIPを提示する。
我々は視覚と言語を混合したタスクから多言語データを活用し、機械翻訳による高品質な英語データを95言語に翻訳する。
IGLUEベンチマークでは、mBLIPは最先端のモデルと競合する結果を得る。
- 参考スコア(独自算出の注目度): 57.56695651370155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modular vision-language models (Vision-LLMs) align pretrained image encoders
with frozen large language models (LLMs), representing a computationally much
more efficient alternative to end-to-end training of large vision-language
models from scratch, which is prohibitively expensive for most researchers and
practitioners. Vision-LLMs instead post-hoc condition LLMs to `understand' the
output of an image encoder. With the abundance of readily available
high-quality English image-text data as well as monolingual English LLMs, the
research focus has been on English-only Vision-LLMs. Multilingual
vision-language models are still predominantly obtained via expensive
end-to-end pretraining, resulting in comparatively smaller models, trained on
limited multilingual image data supplemented with text-only multilingual
corpora. In this work, we present mBLIP, the first multilingual Vision-LLM,
which we obtain in a computationally efficient manner -- on consumer hardware
and using only a few million training examples -- by leveraging a pretrained
multilingual LLM. To this end, we \textit{re-align} an image encoder previously
tuned to an English LLM to a new, multilingual LLM -- for this, we leverage
multilingual data from a mix of vision-and-language tasks, which we obtain by
machine-translating high-quality English data to 95 languages. On the IGLUE
benchmark, mBLIP yields results competitive with state-of-the-art models.
Moreover, in image captioning on XM3600, mBLIP (zero-shot) even outperforms
PaLI-X (a model with 55B parameters). Compared to these very large multilingual
vision-language models trained from scratch, we obtain mBLIP by training orders
of magnitude fewer parameters on magnitudes less data. We release our model and
code at \url{https://github.com/gregor-ge/mBLIP}.
- Abstract(参考訳): モジュラービジョン言語モデル (vision-llms) は、事前学習された画像エンコーダを凍結した大型言語モデル (llm) と整合させる。
vision-llms 代わりに post-hoc condition llms はイメージエンコーダの出力を 'understand' する。
高品質な英語画像テキストデータとモノリンガルな英語LLMが豊富にあるため、研究は英語のみのビジョンLLMに焦点が当てられている。
テキストのみの多言語コーパスを補足した限られた多言語画像データに基づいて訓練された比較的小さなモデルが得られる。
本研究は,コンシューマハードウェア上で,数百万のトレーニング例を用いて計算的に効率よく得られる最初の多言語ビジョン-LLMであるmBLIPについて,事前学習した多言語LLMを活用して紹介する。
この目的のために、我々は、以前英語のLLMにチューニングされた画像エンコーダを、新しい多言語LLMに変換し、視覚と言語を混在するタスクから多言語データを活用し、高品質の英語データを95言語に機械翻訳することで得られる。
IGLUEベンチマークでは、mBLIPは最先端のモデルと競合する結果を得る。
さらに、XM3600の画像キャプションでは、mBLIP(ゼロショット)はPaLI-X(55Bパラメータのモデル)よりも優れています。
スクラッチから訓練したこれらの非常に大きな多言語視覚言語モデルと比較して、大小データのパラメータを桁違いに減らしてmBLIPを得る。
私たちはモデルとコードを \url{https://github.com/gregor-ge/mBLIP} でリリースします。
関連論文リスト
- Amharic LLaMA and LLaVA: Multimodal LLMs for Low Resource Languages [0.0]
大規模言語モデル(LLM)は、自然言語処理タスクにおいて驚くほどの習熟度を示している。
LLMは、トレーニングデータが少ないため、低リソースの言語でよく機能するのに苦労することが多い。
本研究では,世界5000万人以上の人々が話す言語であるAmharicを話すためのLLaMA-2の訓練について検討する。
論文 参考訳(メタデータ) (2024-03-11T01:04:36Z) - Position-Enhanced Visual Instruction Tuning for Multimodal Large
Language Models [50.07056960586183]
MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。
この統合により、MLLMの画像のより詳細な理解が促進される。
本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
論文 参考訳(メタデータ) (2023-08-25T15:33:47Z) - Large Multilingual Models Pivot Zero-Shot Multimodal Learning across
Languages [77.81064876413055]
MPMは、英語以外の言語で大規模なマルチモーダルモデルを訓練するための効果的な訓練パラダイムである。
画像・テキスト・テキスト・画像生成における大規模なマルチモーダルモデルVisCPMを構築し,中国語の最先端(オープンソース)性能を実現する。
論文 参考訳(メタデータ) (2023-08-23T09:55:41Z) - Generating Images with Multimodal Language Models [78.6660334861137]
本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。
本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
論文 参考訳(メタデータ) (2023-05-26T19:22:03Z) - X$^2$-VLM: All-In-One Pre-trained Model For Vision-Language Tasks [38.05496300873095]
ビジョン言語事前学習は、大量のデータからビジョンと言語間のアライメントを学習することを目的としている。
我々は、統合された事前学習フレームワークにより、多粒度視覚言語アライメントを学習することを提案する。
X$2$-VLMは、多様なテキスト記述に関連する無制限の視覚概念を学習することができる。
論文 参考訳(メタデータ) (2022-11-22T16:48:01Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-29T08:53:22Z) - Cross-Lingual Text Classification with Multilingual Distillation and
Zero-Shot-Aware Training [21.934439663979663]
多言語事前学習言語モデル(MPLM)に基づくマルチブランチ多言語言語モデル(MBLM)
教師学習フレームワークを用いた高性能単言語モデルからの知識の伝達に基づく方法
2つの言語横断型分類タスクの結果から,MPLMの教師付きデータのみを用いることで,教師付き性能とゼロショット性能が向上することが示された。
論文 参考訳(メタデータ) (2022-02-28T09:51:32Z) - UC2: Universal Cross-lingual Cross-modal Vision-and-Language
Pre-training [52.852163987208826]
UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。
Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。
提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
論文 参考訳(メタデータ) (2021-04-01T08:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。