論文の概要: VR-JEPA: Learning Contrastive-State Latent Guidance for Generation-based Video Reasoning
- arxiv url: http://arxiv.org/abs/2609.40129v1
- Date: Wed, 30 Sep 2026 16:48:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.106956
- Title: VR-JEPA: Learning Contrastive-State Latent Guidance for Generation-based Video Reasoning
- Title（参考訳）: VR-JEPA: 世代別ビデオ推論のためのコントラスト状態遅延ガイダンス
- Abstract要約: Video Joint-Embedding Predictive Architecture (V-JEPA)は、潜伏予測を通じて学んだ豊富な事前情報を提供する。
本稿では,V-JEPA予測器とタスク固有の推論ロジックを局所化コントラスト学習により整合させるVR-JEPAを提案する。
VR-JEPAは、最先端世代ベースの推論ベースラインよりも11.33%の相対的な改善を達成している。
- 参考スコア（独自算出の注目度）: 56.748711710399085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning through video generation offers a promising path toward visual intelligence by modeling latent visual states and their dynamics. However, current video generation models often lack explicit guidance on how these states should evolve, leaving generated trajectories prone to physical and structural inconsistencies that undermine reasoning reliability. While the Video Joint-Embedding Predictive Architecture (V-JEPA) provides rich spatiotemporal priors learned through latent prediction, these general priors do not naturally adapt to the logical reasoning capabilities required for complex visual tasks. To bridge this gap, we propose VR-JEPA, a framework that aligns the V-JEPA predictor with task-specific reasoning logic through localized contrastive-state learning and uses its predicted latent trajectories to guide video generation for visual reasoning. Specifically, (i) we pair successful trajectories with generated alternatives under the same input conditions and use discrepancies in their V-JEPA representations to identify informative states and tokens for localized contrastive supervision. (ii) We further equip the V-JEPA predictor with skill-specific experts trained on anchor-task data, allowing the model to adaptively specialize its shared spatiotemporal priors across diverse cognitive domains. Together with skill-specific experts, this contrastive supervision enables VR-JEPA to predict latent trajectories that provide task-specific logical guidance for video generation. Comprehensive experiments on the large-scale VBVR-Pro-Bench dataset demonstrate that VR-JEPA achieves an $11.33\%$ relative improvement over the cutting-edge generation-based reasoning baseline, significantly mitigating physical artifacts and enhancing logical consistency.
- Abstract（参考訳）: 映像生成による推論は、潜伏した視覚状態とそのダイナミクスをモデル化することによって、視覚知性への有望な道を提供する。
しかし、現在のビデオ生成モデルは、これらの状態がどのように進化すべきかを明確に示していないことが多く、生成された軌道は物理的および構造的不整合によって引き起こされ、推論の信頼性を損なう。
Video Joint-Embedding Predictive Architecture (V-JEPA)は、潜伏予測を通じて学習された豊富な時空間的事前情報を提供するが、これらの一般的な事前情報は、複雑な視覚的タスクに必要な論理的推論能力に自然に適応しない。
このギャップを埋めるために,V-JEPA予測器とタスク固有の推論ロジックを局所化コントラスト学習により整合させるフレームワークであるVR-JEPAを提案する。
具体的には
(i)同じ入力条件下で生成された代替品と良好な軌道をペアにし,V-JEPA表現に相違点を用いて情報的状態とトークンを同定し,局所的なコントラスト管理を行う。
(II)V-JEPA予測器にアンカータスクデータに基づいて訓練されたスキルスペシャリストを付加し,多様な認知領域にまたがる時空間の共有を適応的に専門化できるようにした。
スキル固有の専門家とともに、この対照的な監督により、VR-JEPAはビデオ生成のためのタスク固有の論理的ガイダンスを提供する潜在軌道を予測することができる。
大規模なVBVR-Pro-Benchデータセットに関する包括的な実験は、VR-JEPAが、最先端の世代ベースの推論ベースラインよりも11.33.%の相対的な改善を達成し、物理的アーティファクトを著しく軽減し、論理的整合性を向上させることを実証している。
関連論文リスト
- V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents [28.145441594584714]
本稿では,凍結したV-JEPA 2.1エンコーダの潜伏空間上にWAMを構築するシンプルなフレームワークであるV-JEPA Policyを紹介する。
命令条件付き未来遅延予測器とフローマッチングアクションエキスパートは、単一の下流ステージでスクラッチから共同で学習する。
0.9Bの総パラメータで0.6Bのトレーニングが可能であり、V-JEPAポリシーは代表的WAMと視覚言語アクションベースラインとの競合性能を達成する。
論文 参考訳（メタデータ） (2026-09-29T11:03:02Z) - Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。
DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。
シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
論文 参考訳（メタデータ） (2026-07-27T08:37:35Z) - What Makes Video World Model Latents Action-Relevant: Prediction over Reconstruction [9.020077150911526]
動作関連構造は、主に画素再構成の忠実度ではなく、時間的ビデオ事前学習によって駆動される。
本研究は,行動関連ビデオ表現の主成分として時間的予測構造(再構成忠実性ではなく,時間的予測構造)を同定した。
論文 参考訳（メタデータ） (2026-06-05T04:43:02Z) - PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction [17.259627750358046]
歩行者の意図と軌道予測を定式化した大規模ビデオベースデータセットであるPedestrianQAを紹介する。
PedestrianQAは、リッチな注釈付き歩行者シーケンスを自然言語で表現し、VLMが視覚力学、文脈的手がかり、交通機関間の相互作用から学べるようにしている。
実証評価の結果,PedestrianQAの精巧なVLMは意図分類,軌道予測精度,説明的合理性の品質を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2026-05-23T12:56:44Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳（メタデータ） (2026-03-31T02:21:59Z) - Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。
空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。
LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2026-03-18T15:28:07Z) - PVI: Plug-in Visual Injection for Vision-Language-Action Models [8.641415997612066]
事前訓練されたVLMとフローマッチングアクションエキスパートを組み合わせたVLAは、言語条件による操作の強力なパラダイムとして登場した。
このモジュールは、訓練済みのアクションエキスパートにアタッチされ、ゼロd残差経路を介して補助的な視覚表現を注入する。
論文 参考訳（メタデータ） (2026-03-13T08:16:53Z) - Future Optical Flow Prediction Improves Robot Control & Video Generation [100.87884718953099]
本稿では,VLM(Vision-Language Model)と拡散アーキテクチャを組み合わせた新しい光フロー予測モデルFOFPredを紹介する。
我々のモデルは、高度にスケーラブルだが非構造化のソースである、Webスケールの人間活動データに基づいて訓練されている。
言語駆動設定下でのロボット操作とビデオ生成による評価は、FOFPredのクロスドメインの汎用性を確立する。
論文 参考訳（メタデータ） (2026-01-15T18:49:48Z) - Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling [65.99956848461915]
VLN(Vision-and-Language Navigation)は、エージェントが目標を達成するために3D環境を移動する方法を決定するタスクである。
VLNタスクの問題点の1つは、対話型環境において、人間に注釈を付けた指示で十分なナビゲーションパスを収集することは困難であるため、データの不足である。
本稿では,低品質な拡張データではなく,効果的な条件を考慮可能な,対向駆動の反実的推論モデルを提案する。
論文 参考訳（メタデータ） (2019-11-17T18:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。