Fugu-MT 論文翻訳(概要): Multilingual Training and Evaluation Resources for Vision-Language Models

論文の概要: Multilingual Training and Evaluation Resources for Vision-Language Models

arxiv url: http://arxiv.org/abs/2604.18347v1
Date: Mon, 20 Apr 2026 14:42:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.940408
Title: Multilingual Training and Evaluation Resources for Vision-Language Models
Title（参考訳）: 視覚言語モデルのための多言語学習と評価資源
Authors: Daniela Baiamonte, Elena Fano, Matteo Gabburo, Stefano Simonazzi, Leonardo Rigutini, Andrea Zugarini,
Abstract要約: 我々は5つのヨーロッパ言語にまたがる視覚言語モデル(VLM)のトレーニングと評価のための、新しい総合的なリソーススイートを紹介する。我々は、合成合成生成と手動アノテーションを組み合わせて高品質な言語間資源を生成する再生翻訳パラダイムを用いている。実験により、VLMの補助を訓練するために多言語で多モーダルな例を使用することは、非言語ベンチマークにおいて一貫して有益であることが示されている。
参考スコア（独自算出の注目度）: 2.5812054740604453
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Vision Language Models (VLMs) achieved rapid progress in the recent years. However, despite their growth, VLMs development is heavily grounded on English, leading to two main limitations: (i) the lack of multilingual and multimodal datasets for training, and (ii) the scarcity of comprehensive evaluation benchmarks across languages. In this work, we address these gaps by introducing a new comprehensive suite of resources for VLMs training and evaluation spanning five European languages (English, French, German, Italian, and Spanish). We adopt a regeneration-translation paradigm that produces high-quality cross-lingual resources by combining curated synthetic generation and manual annotation. Specifically, we build Multi-PixMo, a training corpus obtained regenerating examples from Pixmo pre-existing datasets with permissively licensed models: PixMo-Cap, PixMo-AskModelAnything, and CoSyn-400k. On the evaluation side, we construct a set of multilingual benchmarks derived translating widely used English datasets (MMbench, ScienceQA, MME, POPE, AI2D). We assess the quality of these resources through qualitative and quantitative human analyses, measuring inter-annotator agreement. Additionally, we perform ablation studies to demonstrate the impact of multilingual data, with respect to English only, in VLMs training. Experiments, comprising 3 different models show that using multilingual, multimodal examples for training VLMs aids is consistently beneficial on non-English benchmarks, with positive transfer to English as well.
Abstract（参考訳）: 視覚言語モデル(VLM)は近年急速に進歩している。しかし、その成長にもかかわらず、VLMの開発は英語に大きく依存しており、主な制限は2つある。 (i)訓練用多言語・多モーダルデータセットの欠如、 (ii)言語全体にわたる総合的な評価ベンチマークの不足。本研究は,5つのヨーロッパ言語(英語,フランス語,ドイツ語,イタリア語,スペイン語)にまたがる VLM トレーニングと評価のための,新たな総合的なリソーススイートを導入することで,これらのギャップに対処する。我々は, 改良された合成生成と手動アノテーションを組み合わせることで, 高品質な言語間資源を創出する再生翻訳パラダイムを採用する。具体的には、PixMo-Cap、PixMo-AskModelAnything、CoSyn-400kという、既存のPixmoデータセットから生成されたトレーニングコーパスを構築した。評価面では、広く使われている英語データセット(MMbench、ScienceQA、MME、POPE、AI2D)を翻訳した多言語ベンチマークのセットを構築する。我々は,これらの資源の質を質的,定量的な人的分析を通じて評価し,アノテータ間の合意度を測定した。さらに,VLM訓練における多言語データの影響を,英語のみに対するアブレーション研究により実証した。 3つの異なるモデルからなる実験により、VLMの訓練に多言語で多モーダルな例を用いることは、非言語ベンチマークにおいて一貫して有益であり、英語への肯定的な転送も可能であることが示された。

関連論文リスト

Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework [38.98519875112922]
視覚言語モデル(VLM)は英語中心のデータに基づいて訓練され、他の言語や文化的な文脈での性能を制限する。我々は、LLaVA-Next方法論を再現し、適応し、ポーランドのVLMのセットを作成します。我々は,LLaVA-1.6-una-13Bをポーランド適応MMBenchで+9.5%改善し,高い品質の字幕を生成評価に用いた。
論文参考訳（メタデータ） (2026-02-15T09:54:40Z)
PISA-Bench: The PISA Index as a Multilingual and Multimodal Metric for the Evaluation of Vision-Language Models [13.316431293058763]
PISA-Benchは、専門家が作成したPISAテストの英語の例から得られたベンチマークである。それぞれの例は、人間によって抽出された指示、質問、回答オプション、および質問タイプカテゴリに富んだ画像で構成されている。 PISA-Bench上での最先端のビジョン言語モデルの評価を行い、特に小さなモデル(20Bパラメータ)では高いテストスコアが得られないことを見出した。
論文参考訳（メタデータ） (2025-10-27T11:00:45Z)
TowerVision: Understanding and Improving Multilinguality in Vision-Language Models [56.775118098058506]
TowerVisionは、画像テキストとビデオテキストの両方のためのオープンな多言語視覚言語モデルである。微調整中に視覚的、文化的コンテキストを取り入れることで、私たちのモデルは既存のアプローチを超えます。さらなる研究を支援するため、すべてのモデル、データ、トレーニングレシピを公開しています。
論文参考訳（メタデータ） (2025-10-22T17:02:48Z)
P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
論文参考訳（メタデータ） (2024-11-14T01:29:36Z)
PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文参考訳（メタデータ） (2023-07-12T09:00:37Z)
Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
論文参考訳（メタデータ） (2022-10-24T11:41:20Z)
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文参考訳（メタデータ） (2022-05-29T08:53:22Z)
IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
論文参考訳（メタデータ） (2022-01-27T18:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。