論文の概要: All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

• arxiv url: http://arxiv.org/abs/2604.12335v1
• Date: Tue, 14 Apr 2026 06:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.277284
• Title: All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding
• Title（参考訳）: オールインワン:マルチモーダルビデオ理解のための統一合成データパイプライン
• Authors: Tanzila Rahman, Renjie Liao, Leonid Sigal,
• Abstract要約: 本稿では、リッチで多様な監視機能を備えた無制限なマルチモーダルビデオデータを生成することができる統合合成データ生成パイプラインを提案する。 私たちのフレームワークは単一のパイプライン内で複数のタスクフォーマットをサポートし、タスク間でスケーラブルで一貫性のあるデータ生成を可能にします。 我々は,映像オブジェクトのカウント,映像に基づく視覚的質問応答,映像オブジェクトのセグメンテーションという3つの課題にアプローチを評価した。
• 参考スコア（独自算出の注目度）: 35.51182412533175
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Training multimodal large language models (MLLMs) for video understanding requires large-scale annotated data spanning diverse tasks such as object counting, question answering, and segmentation. However, collecting and annotating multimodal video data in real-world is costly, slow, and inherently limited in diversity and coverage. To address this challenge, we propose a unified synthetic data generation pipeline capable of automatically producing unlimited multimodal video data with rich and diverse supervision. Our framework supports multiple task formats within a single pipeline, enabling scalable and consistent data creation across tasks. To further enhance reasoning ability, we introduce a VQA-based fine-tuning strategy that trains models to answer structured questions about visual content rather than relying solely on captions or simple instructions. This formulation encourages deeper visual grounding and reasoning. We evaluate our approach in three challenging tasks: video object counting, video-based visual question answering, and video object segmentation. Experimental results demonstrate that models trained predominantly on synthetic data generalize effectively to real-world datasets, often outperforming traditionally trained counterparts. Our findings highlight the potential of unified synthetic data pipelines as a scalable alternative to expensive real-world annotation for multimodal video understanding.
• Abstract（参考訳）: ビデオ理解のためのマルチモーダル大言語モデル(MLLM)の訓練には、オブジェクトカウント、質問応答、セグメンテーションといった様々なタスクにまたがる大規模な注釈付きデータが必要である。 しかし、実世界のマルチモーダルビデオデータの収集と注釈付けはコストが高く、遅く、本質的に多様性とカバレッジに制限がある。 この課題に対処するため、我々は、リッチで多様な監督を伴う無制限のマルチモーダルビデオデータを自動的に生成できる統合合成データ生成パイプラインを提案する。 私たちのフレームワークは単一のパイプライン内で複数のタスクフォーマットをサポートし、タスク間でスケーラブルで一貫性のあるデータ生成を可能にします。 推論能力をさらに高めるため,VQAに基づく微調整戦略を導入し,キャプションや簡単な指示のみに頼るのではなく,視覚コンテンツに関する構造化された疑問に答えるようにモデルを訓練する。 この定式化は、より深い視覚的な接地と推論を促進する。 我々は,映像オブジェクトのカウント,映像に基づく視覚的質問応答,映像オブジェクトのセグメンテーションという3つの課題にアプローチを評価した。 実験の結果、主に合成データに基づいて訓練されたモデルは、実世界のデータセットに効果的に一般化され、しばしば伝統的に訓練されたデータセットよりも優れていることが示された。 この結果から,マルチモーダルビデオ理解のための高価な実世界のアノテーションに代わるスケーラブルな代替手段として,統合合成データパイプラインの可能性が浮かび上がっている。

関連論文リスト

• Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
  ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。 近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。 Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-10-06T17:10:44Z)
• Prompts to Summaries: Zero-Shot Language-Guided Video Summarization [12.200609701777907]
  Prompts-to-Summaries:最初のゼロショット・テキストクエリ可能なビデオ要約器を紹介する。 市販のビデオ言語モデル(VidLMs)のキャプションを、大きな言語モデル(LLMs)によるユーザガイドのスキムに変換する。 我々のパイプラインは、メモリ効率の高いバッチスタイルのVidLMプロンプトスキームにより、リッチなシーンレベルの記述を生成する。 SumMe と TVSum では、我々のデータフリーアプローチは、以前のデータハングリーな教師なし手法を全て上回っている。
  論文  参考訳（メタデータ） (2025-06-12T15:23:11Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
  我々は、CinePileという新しいデータセットとベンチマークを提示する。 包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。 トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
  論文  参考訳（メタデータ） (2024-05-14T17:59:02Z)
• OmniDataComposer: A Unified Data Structure for Multimodal Data Fusion and Infinite Data Generation [8.149870655785955]
  OmniDataComposerは、マルチモーダルデータ融合と無制限データ生成のための革新的なアプローチである。 6400以上のオブジェクトを識別でき、視覚情報のスペクトルを大幅に広げる。 多様なモダリティを網羅し、モダリティ間の相互強化を促進し、モダリティ間のデータ修正を容易にする。
  論文  参考訳（メタデータ） (2023-08-08T08:30:16Z)
• See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization [14.881597737762316]
  我々は,NDSS,ICML,NeurIPSなどの著名な学術カンファレンスのプレゼンテーションから収集した,様々な期間のビデオを用いた抽象テキスト要約のための最初の大規模データセットを紹介する。 次に,多モード変換器をベースとしたデコーダのみの言語モデルであるnameを提案し,テキスト要約タスクの様々な入力モードにおけるモーダル内およびモーダル間ダイナミクスを本質的にキャプチャする。
  論文  参考訳（メタデータ） (2021-05-20T08:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。