論文の概要: DataComp-VLM: Improved Open Datasets for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.28551v2
• Date: Tue, 30 Jun 2026 20:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 15:15:53.056044
• Title: DataComp-VLM: Improved Open Datasets for Vision-Language Models
• Title（参考訳）: DataComp-VLM:ビジョン言語モデルのためのオープンデータセットの改善
• Abstract要約: VLMトレーニングを改善するためのデータ中心実験のためのベンチマークであるDCVLM(DataComp for Vision-Language Models)を紹介する。 4つのデータ型にまたがる160のデータセットを6Tマルチモーダルトークンのコーパスに収集します。 DCVLMは、参加者が1B-8Bモデルと6.25B-200Bトークンの予算でキュレーション戦略をテストすることを可能にする。
• 参考スコア（独自算出の注目度）: 161.68203673664217
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Building performant Vision-Language Models (VLMs) requires carefully curating large-scale training datasets, yet the community lacks systematic benchmarks for evaluating such curation strategies. We introduce DataComp for VLMs (DCVLM), a benchmark for controlled data-centric experiments to improve VLM training. As part of DCVLM, we collect 160 datasets spanning four data types -- image-caption pairs, multimodal interleaved documents, text-only, and instruction-tuning data -- into a corpus of 6T multimodal tokens. DCVLM allows participants to test curation strategies (filtering, mixing, formatting, sampling) across 1B-8B models and 6.25B-200B token budgets. Models are then evaluated on a carefully selected suite of up to 52 downstream benchmarks across 9 domains. We conduct extensive experiments on DCVLM and find that data mixing, not filtering, is key to a high-quality training dataset: instruction-heavy mixtures scale better than caption-heavy ones, with gains widening at larger scales. The resulting dataset, DCVLM-Baseline, enables training an 8B VLM to 63.6% accuracy on our 33-task core suite with 200B training tokens. Compared to FineVision, the state-of-the-art open VLM training dataset, this represents an improvement of +5.4pp. DCVLM and all accompanying artifacts will be made publicly available at https://www.datacomp.ai/dcvlm/.
• Abstract（参考訳）: VLM(Performant Vision-Language Models)を構築するには、大規模なトレーニングデータセットを慎重にキュレートする必要があるが、そのようなキュレーション戦略を評価するための体系的なベンチマークは欠如している。 本稿では,VLMトレーニングを改善するためのデータ中心実験のベンチマークであるDataComp for VLMs (DCVLM)を紹介する。 DCVLMの一部として、イメージキャプチャペア、マルチモーダルインターリーブドドキュメント、テキストのみ、命令チューニングデータという、4つのデータタイプにまたがる160のデータセットを、6Tマルチモーダルトークンのコーパスに収集しました。 DCVLMは、参加者が1B-8Bモデルと6.25B-200Bトークン予算でキュレーション戦略(フィルター、ミキシング、フォーマッティング、サンプリング)をテストすることを可能にする。 モデルは9つのドメインにわたる52のダウンストリームベンチマークで慎重に選択されたスイートで評価される。 我々はDCVLMに関する広範な実験を行い、フィルタではなくデータ混合が高品質なトレーニングデータセットの鍵であることを発見した。 得られたデータセットであるDCVLM-Baselineは、トレーニングトークンが200Bの33タスクコアスイートで8B VLMを63.6%の精度でトレーニングすることができる。 最先端のオープンなVLMトレーニングデータセットであるFineVisionと比較すると、+5.4ppの改良である。 DCVLMと付随するすべてのアーティファクトはhttps://www.datacomp.ai/dcvlm/で公開される。

関連論文リスト

• EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training [36.75413663296722]
  視覚言語モデル(VLA)は視覚言語モデル(VLM)から視覚的・言語的能力を継承する ほとんどのVLAは、エンボディドメインに適応せず、下流のパフォーマンスを制限した既製のVLMで構築されている。 本稿では,VLMとVLAのギャップを埋めるために,EmbodiedMidtrainを提案する。
  論文  参考訳（メタデータ） (2026-04-21T21:40:58Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• MindVL: Towards Efficient and Effective Training of Multimodal Large Language Models on Ascend NPUs [20.842336447426682]
  MindVLは、Ascend NPUでエンドツーエンドに訓練されたマルチモーダルな大規模言語モデルである。 我々は,安定かつ高性能なトレーニングを支援する,高効率なトレーニングフレームワークであるMindSpeed-MLLMを紹介した。 異なるシーケンス長でトレーニングされたチェックポイントから平均的な重み付けが特に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-09-15T08:00:31Z)
• Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data [35.85909368345219]
  大規模マルチモーダル命令データセットであるInfinity-MMを導入する。 統一された前処理を実行し、多様性と正確性を保証する4000万以上のサンプルからなるデータセットを作成しました。 タグ付けシステムとオープンソースのVision-Languageモデルに基づく合成命令生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T09:03:48Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Concept-skill Transferability-based Data Selection for Large Vision-Language Models [56.0725292404808]
  視覚言語モデルを学習するための効果的でスケーラブルなデータ選択手法であるCOINCIDEを紹介する。 我々は,目標LVLMに必要な概念スキル構成を識別する小型モデルからの内部アクティベーションを用いて,トレーニングデータをクラスタ化する。 実験により、COINCIDEは8つの強いベースラインに対して、優れた性能とデータ選択効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-16T16:15:20Z)
• Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection [59.11430077029321]
  視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。 第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。 第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
  論文  参考訳（メタデータ） (2024-02-19T20:08:48Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models [2.603259641572195]
  我々はWuDaoMMという大規模マルチモーダルコーパスを導入し、6億5000万以上の画像テキストペアを網羅した。 画像とキャプションの相関が弱い複数のWebページから、約6億のデータを収集する。 また、WuDaoMMのベースバージョンを500万の強相関画像テキストペアでリリースし、一般的なクロスモーダルモデル事前トレーニングをサポートするのに十分です。
  論文  参考訳（メタデータ） (2022-03-22T06:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。