論文の概要: DataComp-VLM: Improved Open Datasets for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.28551v1
• Date: Fri, 26 Jun 2026 19:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.59913
• Title: DataComp-VLM: Improved Open Datasets for Vision-Language Models
• Title（参考訳）: DataComp-VLM:ビジョン言語モデルのためのオープンデータセットの改善
• Authors: Matteo Farina, Vishaal Udandarao, Thao Nguyen, Selim Kuzucu, Maximilian Böther, Andreas Hochlehnert, Adhiraj Ghosh, Marianna Nezhurina, Karsten Roth, Joschka Struber, Yuhui Zhang, Sebastian Dziadzio, Elaine Sui, Soumya Jahagirdar, Dhruba Ghosh, Hasan Hammoud, Thomas De Min, Simone Caldarella, Jehanzeb Mirza, Sedrick Keh, Mehdi Cherti, Hilde Kuehne, Bernt Schiele, Serena Yeung-Levy, Muhammad Ferjad Naeem, Federico Tombari, Ana Klimovic, Elisa Ricci, Matthias Bethge, Sewoong Oh, Ameya Prabhu, Alessio Tonioni, Jenia Jitsev, Massimiliano Mancini, Ludwig Schmidt, Nikhil Parthasarathy,
• Abstract要約: VLMトレーニングを改善するためのデータ中心実験のためのベンチマークであるDCVLM(DataComp for Vision-Language Models)を紹介する。 4つのデータ型にまたがる160のデータセットを6Tマルチモーダルトークンのコーパスに収集します。 DCVLMは、参加者が1B-8Bモデルと6.25B-200Bトークンの予算でキュレーション戦略をテストすることを可能にする。
• 参考スコア（独自算出の注目度）: 161.68203673664217
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Building performant Vision-Language Models (VLMs) requires carefully curating large-scale training datasets, yet the community lacks systematic benchmarks for evaluating such curation strategies. We introduce DataComp for VLMs (DCVLM), a benchmark for controlled data-centric experiments to improve VLM training. As part of DCVLM, we collect 160 datasets spanning four data types -- image-caption pairs, multimodal interleaved documents, text-only, and instruction-tuning data -- into a corpus of 6T multimodal tokens. DCVLM allows participants to test curation strategies (filtering, mixing, formatting, sampling) across 1B-8B models and 6.25B-200B token budgets. Models are then evaluated on a carefully selected suite of up to 52 downstream benchmarks across 9 domains. We conduct extensive experiments on DCVLM and find that data mixing, not filtering, is key to a high-quality training dataset: instruction-heavy mixtures scale better than caption-heavy ones, with gains widening at larger scales. The resulting dataset, DCVLM-Baseline, enables training an 8B VLM to 63.6% accuracy on our 33-task core suite with 200B training tokens. Compared to FineVision, the state-of-the-art open VLM training dataset, this represents an improvement of +5.4pp. DCVLM and all accompanying artifacts will be made publicly available at https://www.datacomp.ai/dcvlm/.
• Abstract（参考訳）: VLM(Performant Vision-Language Models)を構築するには、大規模なトレーニングデータセットを慎重にキュレートする必要があるが、そのようなキュレーション戦略を評価するための体系的なベンチマークは欠如している。 本稿では,VLMトレーニングを改善するためのデータ中心実験のベンチマークであるDataComp for VLMs (DCVLM)を紹介する。 DCVLMの一部として、イメージキャプチャペア、マルチモーダルインターリーブドドキュメント、テキストのみ、命令チューニングデータという、4つのデータタイプにまたがる160のデータセットを、6Tマルチモーダルトークンのコーパスに収集しました。 DCVLMは、参加者が1B-8Bモデルと6.25B-200Bトークン予算でキュレーション戦略(フィルター、ミキシング、フォーマッティング、サンプリング)をテストすることを可能にする。 モデルは9つのドメインにわたる52のダウンストリームベンチマークで慎重に選択されたスイートで評価される。 我々はDCVLMに関する広範な実験を行い、フィルタではなくデータ混合が高品質なトレーニングデータセットの鍵であることを発見した。 得られたデータセットであるDCVLM-Baselineは、トレーニングトークンが200Bの33タスクコアスイートで8B VLMを63.6%の精度でトレーニングすることができる。 最先端のオープンなVLMトレーニングデータセットであるFineVisionと比較すると、+5.4ppの改良である。 DCVLMと付随するすべてのアーティファクトはhttps://www.datacomp.ai/dcvlm/で公開される。

関連論文リスト

• EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training [36.75413663296722]
  視覚言語モデル(VLA)は視覚言語モデル(VLM)から視覚的・言語的能力を継承する ほとんどのVLAは、エンボディドメインに適応せず、下流のパフォーマンスを制限した既製のVLMで構築されている。 本稿では,VLMとVLAのギャップを埋めるために,EmbodiedMidtrainを提案する。
  論文  参考訳（メタデータ） (2026-04-21T21:40:58Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Concept-skill Transferability-based Data Selection for Large Vision-Language Models [56.0725292404808]
  視覚言語モデルを学習するための効果的でスケーラブルなデータ選択手法であるCOINCIDEを紹介する。 我々は,目標LVLMに必要な概念スキル構成を識別する小型モデルからの内部アクティベーションを用いて,トレーニングデータをクラスタ化する。 実験により、COINCIDEは8つの強いベースラインに対して、優れた性能とデータ選択効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-16T16:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。