論文の概要: VFA: Empowering Multilingual MLLMs via Vision-Free Adaptation

• arxiv url: http://arxiv.org/abs/2608.26155v1
• Date: Sat, 04 Jul 2026 06:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.367473
• Title: VFA: Empowering Multilingual MLLMs via Vision-Free Adaptation
• Title（参考訳）: VFA:視覚自由適応による多言語MLLMの強化
• Abstract要約: 視覚自由適応(VFA)は、多言語言語を視覚的アライメントから切り離すフレームワークである。 6つの多言語マルチモーダルベンチマークで5つのMLLM実験を行った結果,一貫した改善が得られた。 テキストデータの2%未満を使用して、VFAは完全にマルチモーダルトレーニングされたモデルにギャップを狭め、そのデータ効率を実証する。
• 参考スコア（独自算出の注目度）: 72.31797957687633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models have advanced rapidly, yet most remain English-centric, as scaling multilingual multimodal instruction tuning is limited by the scarcity and high cost of high-quality non-English image-text supervision. Although multilingual text data is abundant, naive textual fine-tuning can disrupt vision-language alignment and induce catastrophic forgetting. We propose Vision-Free Adaptation (VFA), a framework that decouples multilingual language enhancement from visual alignment by composing complementary task vectors over a shared LLM backbone. Specifically, we fine-tune a base LLM on multilingual text data to derive a multilingual task vector, which is then merged with the vision-aligned task vector of an MLLM. Experiments on five MLLMs across six multilingual multimodal benchmarks show consistent improvements while preserving both general multimodal and text-only capabilities. Moreover, using less than 2% of the text data, VFA narrows the gap to the fully multimodal-trained model, demonstrating its data efficiency.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは急速に進歩しているが、ほとんどのものは英語中心であり、多言語多モーダル命令チューニングのスケーリングは、高品質な非英語画像テキスト管理の不足と高コストによって制限されている。 多言語テキストデータは豊富だが、ナイーブテキストの微調整は視覚言語アライメントを妨害し、破滅的な忘れを招きかねない。 視覚的アライメントから多言語言語拡張を分離するフレームワークである視覚自由適応(VFA)を提案する。 具体的には、多言語テキストデータに基づいてベースLSMを微調整し、多言語タスクベクトルを導出し、MLLMの視覚対応タスクベクトルとマージする。 6つの多言語マルチモーダルベンチマークにおける5つのMLLMの実験は、一般的なマルチモーダルとテキストのみの機能を維持しながら、一貫した改善を示している。 さらに、テキストデータの2%未満を使用することで、VFAは完全にマルチモーダルトレーニングされたモデルとのギャップを狭め、そのデータ効率を実証する。

関連論文リスト

• uCLIP: Parameter-Efficient Multilingual Extension of Vision-Language Models with Unpaired Data [3.364569898365253]
  我々は多言語視覚言語アライメントのための軽量でデータ効率の良いフレームワークを提案する。 本手法では,画像テキストペアやテキストペアは必要とせず,事前訓練された画像エンコーダと多言語テキストエンコーダの両方を凍結する。 この最小限のトレーニング設定は、監督が限られている言語でも堅牢な多言語アライメントを可能にする。
  論文  参考訳（メタデータ） (2025-11-17T06:34:49Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
  MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。 本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。 拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:05:52Z)
• ICU: Conquering Language Barriers in Vision-and-Language Modeling by Dividing the Tasks into Image Captioning and Language Understanding [1.9906814758497542]
  ICUは、V&Lタスクを2段階に分割する: V&Lモデルが英語で画像キャプションを行い、マルチ言語モデル(mLM)がそのキャプションをaltテキストとして取り、言語間理解を行う。 ICUは5つの言語に対して新しい最先端の結果が得られ、残りの言語では同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-19T07:11:48Z)
• Meta-learning For Vision-and-language Cross-lingual Transfer [14.594704809280984]
  バイソン言語モデルのための新しいメタラーニング微調整フレームワークを提案する。 我々のフレームワークは、現在のPVLMを視覚言語シナリオにおける新しい言語に迅速に適応させる。 本手法は, ゼロショットと少数ショットのクロスランガル転送において, 現在のPVLMの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-24T07:51:42Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。