論文の概要: Scalable Vision Language Model Training via High Quality Data Curation

• arxiv url: http://arxiv.org/abs/2501.05952v2
• Date: Mon, 17 Feb 2025 12:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:25.068789
• Title: Scalable Vision Language Model Training via High Quality Data Curation
• Title（参考訳）: 高品質データキュレーションによるスケーラブルな視覚言語モデルトレーニング
• Authors: Hongyuan Dong, Zijian Kang, Weijie Yin, Xiao Liang, Chao Feng, Jiao Ran,
• Abstract要約: 本稿では,2Bパラメータと8BパラメータでSOTA(State-of-the-art)性能を実現するための,オープンソースのビジョン言語モデル(VLM)シリーズを紹介する。 以下の3つの重要な改善は、SAILVLの主要なパフォーマンスに貢献している。
• 参考スコア（独自算出の注目度）: 10.121967684111445
• License:
• Abstract: In this paper, we introduce SAIL-VL (ScAlable Vision Language Model TraIning via High QuaLity Data Curation), an open-source vision language model (VLM) series achieving state-of-the-art (SOTA) performance in 2B and 8B parameters. The following three key improvements contribute to SAIL-VL's leading performance: (1) Scalable high-quality visual understanding data construction: We implement a data construction pipeline to enable hundred-million-scale high-quality recaption data annotation, and the resulted dataset SAIL-Caption is validated to be of the highest data quality compared with opensource alternatives. (2) Scalable Pretraining with High-Quality Visual Understanding Data: We scale SAIL-VL's pretraining budget up to 655B tokens and show that even a 2B VLM benefits from scaled up training data sizes, exhibiting expected data size scaling laws in visual understanding and instruction following performance. (3) Scalable SFT via data quantity and complexity scaling: We curate a high-quality SFT dataset collection which outperforms opensource alternatives in data quantity scaling effectiveness. We also demonstrate that training with progressively higher-complexity data surpasses baseline one-stage training by a large margin. SAIL-VL series models achieve the highest average score in 18 widely used VLM benchmarks in our evaluation, with the 2B model takes the top position over VLMs of comparable sizes on OpenCompass 2024 (https://rank.opencompass.org.cn/leaderboard-multimodal) demonstrating robust visual comprehension abilities. SAIL-VL series models are released at HuggingFace (https://huggingface.co/BytedanceDouyinContent).
• Abstract（参考訳）: 本稿では,SAIL-VL (ScAlable Vision Language Model Training via High QuaLity Data Curation) について述べる。 1) スケーラブルな高品質な視覚的理解データ構築: 数十億ドル規模の高品質な再キャプチャデータアノテーションを可能にするデータ構築パイプラインを実装し、その結果得られたデータセットSAIL-Captionが、オープンソースの代替手段と比較して最高品質であることが検証された。 2) 高品質なビジュアル理解データによるスケーラブルな事前トレーニング: SAIL-VLの事前トレーニング予算を最大655Bのトークンにスケールし、2B VLMでさえ、トレーニングデータサイズをスケールアップし、視覚的理解とその後のパフォーマンスに関する予測データサイズスケーリングの法則を示すことによって恩恵を受けることを示す。 (3) データの量と複雑性のスケーリングによるスケーラブルなSFT: データ量のスケーリング効率において、オープンソースの代替品よりも優れた高品質なSFTデータセットコレクションをキュレートする。 また,より複雑度の高いデータを用いたトレーニングが,ベースラインのワンステージトレーニングを大きなマージンで上回っていることも実証した。 2BモデルはOpenCompass 2024(https://rank.opencompass.org.cn/ Leaderboard-multimodal)上でのVLMよりも上位に位置する。 SAIL-VLシリーズモデルはHuggingFace (https://huggingface.co/BytedanceDouyinContent)でリリースされる。

関連論文リスト

• Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling [128.24325909395188]
  InternVL 2.5は、InternVL 2.0上に構築された高度マルチモーダル大規模言語モデル(MLLM)シリーズである。 InternVL 2.5は、GPT-4oやClaude-3.5-Sonnetといった主要な商用モデルと競合する競争力を持つ。 このモデルが、マルチモーダルAIシステムの開発と適用のための新しい標準を設定することで、オープンソースコミュニティに貢献できることを願っています。
  論文  参考訳（メタデータ） (2024-12-06T18:57:08Z)
• Infinity-MM: Scaling Multimodal Performance with Large-Scale and High-Quality Instruction Data [35.85909368345219]
  大規模マルチモーダル命令データセットであるInfinity-MMを導入する。 統一された前処理を実行し、多様性と正確性を保証する4000万以上のサンプルからなるデータセットを作成しました。 タグ付けシステムとオープンソースのVision-Languageモデルに基づく合成命令生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T09:03:48Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。 We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。 以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Concept-skill Transferability-based Data Selection for Large Vision-Language Models [56.0725292404808]
  視覚言語モデルを学習するための効果的でスケーラブルなデータ選択手法であるCOINCIDEを紹介する。 我々は,目標LVLMに必要な概念スキル構成を識別する小型モデルからの内部アクティベーションを用いて,トレーニングデータをクラスタ化する。 実験により、COINCIDEは8つの強いベースラインに対して、優れた性能とデータ選択効率を実現することが示された。
  論文  参考訳（メタデータ） (2024-06-16T16:15:20Z)
• C3L: Content Correlated Vision-Language Instruction Tuning Data Generation via Contrastive Learning [45.233150828317164]
  コントラスト学習(C3L)によるコンテンツ関連VLITデータ生成を提案する。 具体的には、VLITデータと画像間のコンテンツ関連性を高める新しいコンテンツ関連モジュールを設計する。 LVLMのVLITデータ生成能力をさらに向上させるために、対照的な学習モジュールが導入された。
  論文  参考訳（メタデータ） (2024-05-21T13:04:10Z)
• ALLaVA: Harnessing GPT4V-Synthesized Data for Lite Vision-Language Models [45.040292339670096]
  大規模視覚言語モデル(LVLM)は、その強力な推論と一般化能力を備えた幅広い視覚言語タスクの前提を示してきた。 本研究では,従来のLVLMとリソースフレンドリなライトバージョンのパフォーマンスギャップを,高品質なトレーニングデータを用いて橋渡しすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-18T19:26:49Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions [31.4943447481144]
  本稿では,共同学習と言語学習(VL)について検討し,モダリティ間の学習を可能とし,多くの下流作業に役立てる。 本モデルでは,10の理解タスクと2の新たなテキスト・ビジュアル生成タスクを実現する。
  論文  参考訳（メタデータ） (2021-11-19T17:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。