Fugu-MT 論文翻訳(概要): Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

論文の概要: Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models

arxiv url: http://arxiv.org/abs/2604.02048v1
Date: Thu, 02 Apr 2026 13:48:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.830162
Title: Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models
Title（参考訳）: Jagle:ビジョンランゲージモデルのための大規模日本語マルチモーダルポストトレーニングデータセットの構築
Abstract要約: 多様なタスクにまたがって一般化する視覚言語モデル(VLM)の開発には、多様なコンテンツを持つ大規模なトレーニングデータセットが必要である。本稿では,日本最大のマルチモーダルポストトレーニングデータセットであるJagleについて紹介する。実験により,ジャグルで訓練した2.2Bモデルが,10の日本語評価課題の平均得点を上回り,Qwen3-VL-2B-インストラクトの5点以内まで接近することにより,日本のタスクに強い性能を発揮することが示された。
参考スコア（独自算出の注目度）: 27.57801699230882
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Developing vision-language models (VLMs) that generalize across diverse tasks requires large-scale training datasets with diverse content. In English, such datasets are typically constructed by aggregating and curating numerous existing visual question answering (VQA) resources. However, this strategy does not readily extend to other languages, where VQA datasets remain limited in both scale and domain coverage, posing a major obstacle to building high-quality multilingual and non-English VLMs. In this work, we introduce Jagle, the largest Japanese multimodal post-training dataset to date, comprising approximately 9.2 million instances across diverse tasks. Rather than relying on existing VQA datasets, we collect heterogeneous source data, including images, image-text pairs, and PDF documents, and generate VQA pairs through multiple strategies such as VLM-based QA generation, translation, and text rendering. Experiments demonstrate that a 2.2B model trained with Jagle achieves strong performance on Japanese tasks, surpassing InternVL3.5-2B in average score across ten Japanese evaluation tasks and approaching within five points of Qwen3-VL-2B-Instruct. Furthermore, combining Jagle with FineVision does not degrade English performance; instead, it improves English performance compared to training with FineVision alone. To facilitate reproducibility and future research, we release the dataset, trained models, and code.
Abstract（参考訳）: 多様なタスクにまたがって一般化する視覚言語モデル(VLM)の開発には、多様なコンテンツを持つ大規模なトレーニングデータセットが必要である。英語では、このようなデータセットは、多くの既存の視覚的質問応答(VQA)リソースを集約し、キュレーションすることによって構築されるのが一般的である。しかし、この戦略は、VQAデータセットがスケールとドメインカバレッジの両方で制限され続けており、高品質な多言語および非英語のVLMを構築する上で大きな障害となっている他の言語にも容易には適用できない。本稿では,日本最大のマルチモーダルポストトレーニングデータセットであるJagleについて紹介する。既存のVQAデータセットに頼るのではなく、画像、画像-テキストペア、PDFドキュメントを含む異種ソースデータを収集し、VLMベースのQA生成、翻訳、テキストレンダリングといった複数の戦略を通じてVQAペアを生成する。実験により,ジャグルで訓練した2.2Bモデルが,10の日本語評価課題の平均得点を上回り,Qwen3-VL-2B-インストラクトの5点以内まで接近することにより,日本のタスクに強い性能を発揮することが示された。さらに、ジャグルとファインビジョンの組み合わせは英語のパフォーマンスを低下させるものではなく、ファインビジョン単独でのトレーニングよりも英語のパフォーマンスを向上させる。再現性と将来の研究を容易にするため、私たちはデータセット、訓練されたモデル、コードをリリースします。

関連論文リスト

Multilingual Training and Evaluation Resources for Vision-Language Models [2.5812054740604453]
我々は5つのヨーロッパ言語にまたがる視覚言語モデル(VLM)のトレーニングと評価のための、新しい総合的なリソーススイートを紹介する。我々は、合成合成生成と手動アノテーションを組み合わせて高品質な言語間資源を生成する再生翻訳パラダイムを用いている。実験により、VLMの補助を訓練するために多言語で多モーダルな例を使用することは、非言語ベンチマークにおいて一貫して有益であることが示されている。
論文参考訳（メタデータ） (2026-04-20T14:42:47Z)
DEJIMA: A Novel Large-scale Japanese Dataset for Image Captioning and Visual Question Answering [42.08511799479111]
本研究は,日本語ビジョン・アンド・ランゲージ(V&L)モデリングのための高品質・大規模資源の不足に対処する。本稿では,大規模Webコレクションと厳密なフィルタリング/復号化,オブジェクト検出駆動型エビデンス抽出,Large Language Model(LLM)に基づく改良などを統合した,スケーラブルで再現可能なパイプラインを提案する。
論文参考訳（メタデータ） (2025-11-30T08:09:43Z)
TowerVision: Understanding and Improving Multilinguality in Vision-Language Models [56.775118098058506]
TowerVisionは、画像テキストとビデオテキストの両方のためのオープンな多言語視覚言語モデルである。微調整中に視覚的、文化的コンテキストを取り入れることで、私たちのモデルは既存のアプローチを超えます。さらなる研究を支援するため、すべてのモデル、データ、トレーニングレシピを公開しています。
論文参考訳（メタデータ） (2025-10-22T17:02:48Z)
Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models [52.22235443948351]
大規模言語モデル(LLM)を効果的に事前学習するためには,高品質な多言語学習データが不可欠である本稿では,多言語多言語データを大規模に効率的にキュレートする体系的アプローチであるJQLを紹介する。 JQLは、LLMのアノテーション機能を、事前トレーニングされた多言語埋め込みに基づいて軽量アノテータに蒸留する。
論文参考訳（メタデータ） (2025-05-28T11:06:54Z)
Datasets for Multilingual Answer Sentence Selection [59.28492975191415]
ヨーロッパ5言語(フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語)でAS2のための新しい高品質データセットを導入する。その結果、我々のデータセットは、堅牢で強力な多言語AS2モデルを作成する上で重要なものであることが示唆された。
論文参考訳（メタデータ） (2024-06-14T16:50:29Z)
Heron-Bench: A Benchmark for Evaluating Vision Language Models in Japanese [1.2182821723492487]
視覚言語モデル(VLM)の日本語能力を評価するための新しいベンチマークを導入する。日本語のヘロン・ベンチは、日本語の文脈に合わせて様々な画像検索応答ペアで構成されている。本稿では,日本語の視覚指導調律データセットを用いて学習した日本語VLMについて述べる。
論文参考訳（メタデータ） (2024-04-11T15:09:22Z)
RC3: Regularized Contrastive Cross-lingual Cross-modal Pre-training [84.23022072347821]
本稿では,弱整列型ビオテキスト入力の表現近接を制約する正規化言語間ビオテキストコントラスト学習目標を提案する。 6言語にまたがる5つの下流マルチモーダルタスクの実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2023-05-13T14:41:05Z)
EVJVQA Challenge: Multilingual Visual Question Answering [1.4641199499831683]
VQA(Visual Question Answering)は、自然言語処理(NLP)とコンピュータビジョン(CV)の課題である。 EVJVQAはベトナム語と音声処理に関する第9回ワークショップ(VLSP 2022)で、多言語視覚質問応答のためのベンチマークデータセットとして使用される。本稿では,課題の組織化,共有タスク参加者が採用した手法の概要,その結果について述べる。
論文参考訳（メタデータ） (2023-02-23T02:38:39Z)
Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
論文参考訳（メタデータ） (2022-03-12T09:33:37Z)
UC2: Universal Cross-lingual Cross-modal Vision-and-Language Pre-training [52.852163987208826]
UC2は、言語間クロスモーダル表現学習のための最初の機械翻訳拡張フレームワークである。 Masked Region-token Modeling (MRTM) と Visual Translation Language Modeling (VTLM) の2つの新しいプリトレーニングタスクを提案する。提案手法は,英語タスクにおける単言語学習モデルと同等の性能を維持しつつ,多種多様な非英語ベンチマークで新たな最先端を実現する。
論文参考訳（メタデータ） (2021-04-01T08:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。