論文の概要: Advancing Video-Text Pretraining with Multi-View Captions

• arxiv url: http://arxiv.org/abs/2609.35090v1
• Date: Mon, 28 Sep 2026 13:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:00:39.133218
• Title: Advancing Video-Text Pretraining with Multi-View Captions
• Title（参考訳）: マルチビューキャプションによるビデオテキスト事前学習の改善
• Abstract要約: 既存のWebスケールデータセットは、リッチなセマンティクスをキャプチャできない、ビデオ毎に1つのスパースキャプションのみを提供する。 本稿では,多モーダル言語モデルに基づく大規模監視フレームワークを提案する。 提案手法は,既存の手法よりも小さい事前学習コーパスを用いて,ゼロショットと微調整の両方の性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 48.24501901598919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-text pretraining has achieved remarkable progress through the scaling of models and datasets, yet the quality of language supervision remains underexplored. Existing web-scale datasets often provide only a single sparse caption per video that fails to capture rich spatiotemporal semantics, while directly using captioning models can generate noisy descriptions. We propose a large-scale multimodal large language model-based supervision generation framework that improves supervision diversity, fidelity, and semantic coverage. Starting from 10 million videos, our approach generates multi-view captions (MVC) through complementary summary and detailed captions, reasoning-based refinement, and semantic positive caption generation. To effectively exploit supervision at different granularities, we further introduce a granularity-aware text representation with separate CLS tokens for summary and detailed views. We pretrain video-text models using the resulting supervision corpus and evaluate them across standard, fine-grained and detailed text-to-video retrieval benchmarks. Our approach consistently improves both zero-shot and fine-tuned performance while using smaller pretraining corpora than existing methods, demonstrating the importance of rich and complementary textual supervision for video-text pretraining. Project page: https://rvandeghen.github.io/mvc/
• Abstract（参考訳）: ビデオテキストの事前トレーニングは、モデルとデータセットのスケーリングを通じて顕著な進歩を遂げてきたが、言語の監視の質は未調査のままである。 既存のWebスケールデータセットは、リッチな時空間のセマンティクスをキャプチャできない1つのスパースキャプションしか提供しないが、キャプションモデルを直接使用すればノイズの多い記述を生成することができる。 大規模マルチモーダルな大規模言語モデルに基づく監視生成フレームワークを提案する。 提案手法は,1000万本のビデオから,補完的な要約と詳細なキャプション,推論に基づく改良,意味論的肯定的なキャプション生成を通じて,多視点キャプション(MVC)を生成する。 異なる粒度の監督を効果的に活用するために,要約と詳細なビューのためのCLSトークンを分離した粒度対応のテキスト表現を導入する。 得られた監視コーパスを用いてビデオテキストモデルを事前学習し、それらを標準、細粒度、詳細なテキスト・ツー・ビデオ検索ベンチマークで評価する。 提案手法は,既存の手法よりも少ない事前学習コーパスを用いながら,ゼロショットと微調整の両方の性能を継続的に改善し,ビデオテキスト事前学習におけるリッチで補完的なテキスト管理の重要性を実証する。 プロジェクトページ: https://rvandeghen.github.io/mvc/

関連論文リスト

• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)
• Video Summarization Based on Video-text Modelling [0.0]
  ビデオのセマンティック表現を得るために,マルチモーダルな自己教師型学習フレームワークを提案する。 また,より優れた要約を生成するために,動画内の重要なコンテンツを段階的にピンポイントするプログレッシブな映像要約手法も導入する。 映像分類に基づく映像要約の質を客観的に評価する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-01-07T15:21:46Z)
• Understanding Chinese Video and Language via Contrastive Multimodal Pre-Training [79.88705563918413]
  VICTORという新しいビデオ言語理解フレームワークを提案します。VICTORは対比mulTimOdal pRe-trainingによる視覚言語理解の略です。 VICTORは、対応する高品質のテキスト記述を備えた1000万以上の完全なビデオを含む大規模な中国のビデオ言語データセットで訓練されています。
  論文  参考訳（メタデータ） (2021-04-19T15:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。