論文の概要: VideoLatent: Video-Language Learning via Latent Self-Forcing
- arxiv url: http://arxiv.org/abs/2606.22870v1
- Date: Mon, 22 Jun 2026 05:29:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 04:02:25.105101
- Title: VideoLatent: Video-Language Learning via Latent Self-Forcing
- Title（参考訳）: VideoLatent: 潜入型セルフフォースによるビデオランゲージ学習
- Abstract要約: VideoLatentはビデオ理解と推論に適した潜伏注入モジュールを備えた新しいMLLMである。
我々のモデルは、一般的なビデオ理解と複雑なビデオ推論において、既存の標準および潜在MLLMよりも一貫して優れています。
- 参考スコア（独自算出の注目度）: 44.01259508852106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in chain-of-thought (CoT) reasoning have shown promise in enhancing video understanding and reasoning capabilities of multimodal large language models (MLLMs). However, existing CoT-based MLLMs require labor-intensive CoT annotations and incur substantial training and inference overhead. While visual latent reasoning has emerged as a more efficient alternative, existing methods primarily focus on image tasks and heavily rely on additional supervision signals for visual latent generation (e.g., CoT traces, auxiliary images, or fine-grained annotations), limiting their scalability and transferability to video tasks. To bridge this gap, we introduce VideoLatent, a novel MLLM equipped with a latent injection module tailored for video understanding and reasoning. Specifically, VideoLatent learns to perform visual latent reasoning using a new latent self-forcing training paradigm, which comprises latent alignment and latent diversity objectives, and relies solely on standard video-question-answer triplets. Extensive experiments across 14 benchmarks demonstrate that our model consistently outperforms existing standard and latent MLLMs on general video understanding and complex video reasoning. Compared with Video-R1, our VideoLatent achieves superior computational efficiency, reducing training/inference overhead by $\sim$6$\times$/$\sim$68$\times$. Moreover, experiments demonstrate that our method has strong generalizability to different MLLM backbones and different model scales.
- Abstract（参考訳）: 近年のチェーン・オブ・シークレット(CoT)推論の進歩は、マルチモーダル大言語モデル(MLLM)の映像理解と推論能力の向上を約束している。
しかし、既存のCoTベースのMLLMは、労働集約的なCoTアノテーションを必要とし、かなりのトレーニングと推論のオーバーヘッドを発生させる。
視覚潜在推論はより効率的な代替手段として現れてきたが、既存の手法は主にイメージタスクに焦点を当てており、視覚潜在生成のための監視信号(例えば、CoTトレース、補助画像、微妙なアノテーション)に強く依存しており、そのスケーラビリティとビデオタスクへの転送性を制限する。
このギャップを埋めるために,ビデオ理解と推論に適した潜伏注入モジュールを備えた新しいMLLMであるVideoLatentを紹介する。
特に、VideoLatentは、潜時アライメントと潜時多様性の目標を含む新しい潜時自己強制訓練パラダイムを使用して視覚潜時推論を実行することを学び、標準のビデオクエスト回答三脚のみに依存する。
14のベンチマークによる大規模な実験により、我々のモデルは、一般的なビデオ理解と複雑なビデオ推論において、既存の標準および潜在MLLMよりも一貫して優れていることが示された。
VideoLatentは、Video-R1と比較して優れた計算効率を実現し、トレーニング/推論オーバーヘッドを$\sim$6$\times$/$\sim$68$\times$で削減します。
さらに,本手法は異なるMLLMバックボーンと異なるモデルスケールに対して強い一般化性を有することを示す。
関連論文リスト
- VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval [11.519642157641023]
本稿では,ビデオテキストの埋め込みと検索にMLLMを活用することに焦点を当てる。
まず,中間層(事前学習)MLLM層がすでにタスク関連情報を有意にエンコードしていることを示す。
我々は,中間層埋め込みと校正MLLMヘッドを組み合わせることで,トレーニングなしで強力なゼロショット検索性能が得られることを示した。
論文 参考訳（メタデータ） (2026-02-08T19:39:32Z) - Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models [78.32948112203228]
ビデオ理解はコンピュータビジョンにおける最も困難なフロンティアである。
近年,映像理解タスクにおいて,映像多時間モデルが顕著に出現している。
Surveyは、ビデオ-LMM能力を向上するための統一的なフレームワークを研究者や実践者に提供することを目的としている。
論文 参考訳（メタデータ） (2025-10-06T17:10:44Z) - Reasoning-Enhanced Domain-Adaptive Pretraining of Multimodal Large Language Models for Short Video Content Governance [34.134289344567705]
本稿では,不適切なコンテンツ検出を統一するためのMLLM事前学習パラダイムを提案する。
短いビデオコンテンツとMLLMのオリジナル事前学習データとの分配ギャップに対処するために,3つの目標事前学習タスクを導入する。
実験結果から,ゼロショットおよび教師付き微調整環境におけるMLLMの性能は,事前学習により有意に向上することが示された。
論文 参考訳（メタデータ） (2025-09-25T19:46:34Z) - Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning [39.6349428129868]
マルチモーダル大言語モデル(MLLM)は、ビデオ質問応答や時間的接地といった下流タスクに不可欠である。
本稿では,ツール・アグリゲード・ラーニング(VITAL)による映像インテリジェンスを提案する。
ビジュアルツールボックスを使うことで、モデルは必要に応じて新しいビデオフレームを密にサンプリングし、正確なロングビデオ推論のためのマルチモーダルCoTを生成することができる。
論文 参考訳（メタデータ） (2025-08-06T13:03:21Z) - Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。
我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。
その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-06-02T17:28:26Z) - STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。
ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。
本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
論文 参考訳（メタデータ） (2024-11-29T11:54:55Z) - VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。
ビデオタスクのコンテキストにおいてLLMの実用性を拡張し,最小限のインプットとアウトプットのデモをコンテキストフレームワーク内で一般化する,新たなアプローチを提案する。
論文 参考訳（メタデータ） (2024-03-21T18:00:00Z) - VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。
我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。
VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
論文 参考訳（メタデータ） (2023-05-22T17:51:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。