論文の概要: VideoLatent: Video-Language Learning via Latent Self-Forcing
- arxiv url: http://arxiv.org/abs/2606.22870v1
- Date: Mon, 22 Jun 2026 05:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:02:25.105101
- Title: VideoLatent: Video-Language Learning via Latent Self-Forcing
- Title（参考訳）: VideoLatent: 潜入型セルフフォースによるビデオランゲージ学習
- Authors: Zi-Yuan Hu, Zicong Tang, Shijia Huang, Yanyang Li, Michael R. Lyu, Liwei Wang,
- Abstract要約: VideoLatentはビデオ理解と推論に適した潜伏注入モジュールを備えた新しいMLLMである。
我々のモデルは、一般的なビデオ理解と複雑なビデオ推論において、既存の標準および潜在MLLMよりも一貫して優れています。
- 参考スコア（独自算出の注目度）: 44.01259508852106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in chain-of-thought (CoT) reasoning have shown promise in enhancing video understanding and reasoning capabilities of multimodal large language models (MLLMs). However, existing CoT-based MLLMs require labor-intensive CoT annotations and incur substantial training and inference overhead. While visual latent reasoning has emerged as a more efficient alternative, existing methods primarily focus on image tasks and heavily rely on additional supervision signals for visual latent generation (e.g., CoT traces, auxiliary images, or fine-grained annotations), limiting their scalability and transferability to video tasks. To bridge this gap, we introduce VideoLatent, a novel MLLM equipped with a latent injection module tailored for video understanding and reasoning. Specifically, VideoLatent learns to perform visual latent reasoning using a new latent self-forcing training paradigm, which comprises latent alignment and latent diversity objectives, and relies solely on standard video-question-answer triplets. Extensive experiments across 14 benchmarks demonstrate that our model consistently outperforms existing standard and latent MLLMs on general video understanding and complex video reasoning. Compared with Video-R1, our VideoLatent achieves superior computational efficiency, reducing training/inference overhead by $\sim$6$\times$/$\sim$68$\times$. Moreover, experiments demonstrate that our method has strong generalizability to different MLLM backbones and different model scales.
- Abstract（参考訳）: 近年のチェーン・オブ・シークレット(CoT)推論の進歩は、マルチモーダル大言語モデル(MLLM)の映像理解と推論能力の向上を約束している。
しかし、既存のCoTベースのMLLMは、労働集約的なCoTアノテーションを必要とし、かなりのトレーニングと推論のオーバーヘッドを発生させる。
視覚潜在推論はより効率的な代替手段として現れてきたが、既存の手法は主にイメージタスクに焦点を当てており、視覚潜在生成のための監視信号(例えば、CoTトレース、補助画像、微妙なアノテーション)に強く依存しており、そのスケーラビリティとビデオタスクへの転送性を制限する。
このギャップを埋めるために,ビデオ理解と推論に適した潜伏注入モジュールを備えた新しいMLLMであるVideoLatentを紹介する。
特に、VideoLatentは、潜時アライメントと潜時多様性の目標を含む新しい潜時自己強制訓練パラダイムを使用して視覚潜時推論を実行することを学び、標準のビデオクエスト回答三脚のみに依存する。
14のベンチマークによる大規模な実験により、我々のモデルは、一般的なビデオ理解と複雑なビデオ推論において、既存の標準および潜在MLLMよりも一貫して優れていることが示された。
VideoLatentは、Video-R1と比較して優れた計算効率を実現し、トレーニング/推論オーバーヘッドを$\sim$6$\times$/$\sim$68$\times$で削減します。
さらに,本手法は異なるMLLMバックボーンと異なるモデルスケールに対して強い一般化性を有することを示す。
関連論文リスト
- Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。
近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。
Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-10-06T17:10:44Z) - Reasoning-Enhanced Domain-Adaptive Pretraining of Multimodal Large Language Models for Short Video Content Governance [34.134289344567705]
本稿では,不適切なコンテンツ検出を統一するためのMLLM事前学習パラダイムを提案する。
短いビデオコンテンツとMLLMのオリジナル事前学習データとの分配ギャップに対処するために,3つの目標事前学習タスクを導入する。
実験結果から,ゼロショットおよび教師付き微調整環境におけるMLLMの性能は,事前学習により有意に向上することが示された。
論文 参考訳（メタデータ） (2025-09-25T19:46:34Z) - Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning [39.6349428129868]
マルチモーダル大言語モデル(MLLM)は、ビデオ質問応答や時間的接地といった下流タスクに不可欠である。
本稿では,ツール・アグリゲード・ラーニング(VITAL)による映像インテリジェンスを提案する。
ビジュアルツールボックスを使うことで、モデルは必要に応じて新しいビデオフレームを密にサンプリングし、正確なロングビデオ推論のためのマルチモーダルCoTを生成することができる。
論文 参考訳（メタデータ） (2025-08-06T13:03:21Z) - Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。
我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。
その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-06-02T17:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。