論文の概要: CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models
- arxiv url: http://arxiv.org/abs/2605.08735v1
- Date: Sat, 09 May 2026 06:39:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.846827
- Title: CollabVR: Collaborative Video Reasoning with Vision-Language and Video Generation Models
- Title（参考訳）: CollabVR:ビジョンランゲージとビデオ生成モデルによるコラボレーションビデオ推論
- Abstract要約: ビデオ生成モデル(VGM)は、ゴール指向タスクにおいて繰り返し発生する障害モードを示す。
ステップレベルの批判においてVLMとVGMを結合するクローズドループフレームワークであるVLM-VGMコラボレーションビデオ推論(CollabVR)を提案する。
Gen-ViReとVBVR-Benchでは、CollabVRはシングル推論、Pass@$k$、マッチした計算における以前のテストタイムスケーリングベースラインよりも、オープンソースとクローズドソース両方のVGMを改善している。
- 参考スコア（独自算出の注目度）: 41.60751475372144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent "Thinking with Video" approaches use Video Generation Models (VGMs) for visual reasoning by producing temporally coherent Chain-of-Frames as reasoning artifacts. Even strong VGMs, however, exhibit two recurring failure modes on goal-directed tasks: long-horizon drift on multi-step tasks and mid-clip simulation errors that compound. Both stem from the absence of explicit reasoning built upon the VGM's short-horizon visual prior, a role naturally filled by Vision-Language Models (VLMs), but where to place the VLM is non-trivial: upfront plans commit before any frame is generated and post-hoc critiques over whole videos intervene too late. We propose VLM-VGM Collaborative Video Reasoning (CollabVR), a closed-loop framework that couples the VLM with the VGM at step-level granularity: the VLM plans the immediate next action, inspects the clip the VGM generates, and folds the verifier's diagnosis directly into the next action prompt to repair detected failures. On Gen-ViRe and VBVR-Bench, CollabVR improves both open-source and closed-source VGMs over single-inference, Pass@$k$, and prior test-time scaling baselines at matched compute, with the largest gains on the hardest tasks. It also yields further improvements on top of a reasoning-fine-tuned VGM, indicating that step-level VLM supervision is orthogonal to and stackable with reasoning-oriented fine-tuning. We provide video samples and additional qualitative results at our project page: https://joow0n-kim.github.io/collabvr-project-page.
- Abstract（参考訳）: 近年の"Thinking with Video"アプローチでは,映像生成モデル(VGM)を時間的コヒーレントなフレームの連鎖を推論成果物として生成することで視覚的推論に活用している。
しかし、強力なVGMでさえ、ゴール指向タスクに2つの繰り返し失敗モードを示す。
どちらも、VGMのショートホライゾン・ヴィジュアライズ・オーディション(英語版)の上に構築された明確な推論がなく、ヴィジュアル・ランゲージ・モデル(英語版) (VLM) によって自然に満たされる役割であるが、VLMの配置は簡単ではない。
我々は,VLMとVGMを段階的な粒度で結合するクローズドループフレームワークであるVLM-VGMコラボレーティブビデオ推論(CollabVR)を提案し,VLMは即時次アクションを計画し,VGMが生成するクリップを検査し,検証者の診断を直接次のアクションプロンプトに折り畳み,検出された障害を修復する。
Gen-ViReとVBVR-Benchでは、CollabVRはシングル推論、Pass@$k$、マッチした計算におけるテスト時のスケーリングベースラインよりも、オープンソースのVGMとクローズドソースの両方を改善し、最も難しいタスクで最大の利益を上げている。
また、ステップレベルのVLM監督は、推論指向の微調整と直交し、積み重ね可能であることを示している。
私たちは、ビデオサンプルとプロジェクトページで、以下の定性的な結果を提供しています。
関連論文リスト
- From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models [42.398664944109676]
VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。
本稿では,モデルに依存しないプロンプトリライタであるVid-PRE (Video Reason Prompter and Enhancer)を提案する。
論文 参考訳（メタデータ） (2026-09-10T08:40:58Z) - VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning [133.66021945481876]
本稿では,視覚的推論生成をネイティブに制御可能にするテストベッドであるVBVR-Proを紹介する。
VBVR-Proは、視覚的推論を300の手続き的に生成されたタスク空間に変換する。
VLM-as-a-judgeパラダイムの繰り返し発生する障害モードを同定する。
論文 参考訳（メタデータ） (2026-08-26T17:59:51Z) - OVIBench: Benchmarking Online Video Question Answering under Interruption [7.346987643902584]
視覚言語モデル(VLM)を評価するための最初の標準ベンチマークであるOVIBenchを紹介する。
OVIBenchは割り込みをCancellation、False Trigger、Correctionの3つのタイプに分類し、オープンエンドとマルチチョイスの両方の評価をサポートする。
実験により、OVIBenchはモデルの割り込み処理能力を効果的に区別できることが示されている。
論文 参考訳（メタデータ） (2026-08-23T08:12:08Z) - VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization [34.39134324001484]
視覚言語モデル(VLM)の役割を「教師」に移行させるパラダイムシフトを導入する。
VLMの教師は、タスク固有のルールを識別可能な報酬に抽出し、LoRAモジュールのテストタイムオンライン最適化を通じてVReasonerを定式化する。
この戦略は、適応的なテスト時間最適化を可能にし、Vの本質的な境界を越えて推論能力を拡張する。
論文 参考訳（メタデータ） (2026-06-01T17:54:26Z) - VGenST-Bench: A Benchmark for Spatio-Temporal Reasoning via Active Video Synthesis [23.34626996348395]
VGenSTBenchは、生成モデルを使用して、アクティブに合成され、高度に制御され、多様な評価シナリオを提供するビデオベンチマークである。
我々は、様々なシナリオにまたがる空間スケールシーン、パースペクティブダイナミクスを含む、包括的な3x2x2ビデオ分類を確立した。
論文 参考訳（メタデータ） (2026-05-21T14:48:35Z) - TransVLM: A Vision-Language Framework and Benchmark for Detecting Any Shot Transitions [52.61846373082384]
ショットトランジション検出(STD)は本質的に複雑なトランジションに苦しむ。
本稿では,STDのためのビジョン言語モデル(VLM)フレームワークであるTransVLMを提案する。
広範囲な実験により、TransVLMは全体的な性能が優れていることが示された。
論文 参考訳（メタデータ） (2026-04-30T15:05:06Z) - GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids [0.3624700141426058]
VLM(Vision-Language Models)は強力なオープンセット推論器であるが、ビデオ監視における異常検出として直接使用されるのは脆弱である。
問題はVLM自身ではなく、どのように使われているかだ、と我々は主張する。
画素レベルの異常マスクを生成するトレーニングフリーパイプラインであるGridVADにおいて、この提案-代用原理をインスタンス化する。
論文 参考訳（メタデータ） (2026-03-26T14:08:41Z) - Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders [40.81958598891815]
ビジョン言語モデル(VLM)の開発は、モデルのサイズのスケーリングに大きく依存している。
本稿では,テキストのみのLLMによる視覚エンコーダPenguin-VLを提案する。
実験の結果,ペンギンエンコーダは従来のコントラスト前訓練に優れた代替手段であることがわかった。
論文 参考訳（メタデータ） (2026-03-06T18:58:04Z) - VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。
実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
論文 参考訳（メタデータ） (2025-12-31T16:31:59Z) - TRANSPORTER: Transferring Visual Semantics from VLM Manifolds [56.749972238005604]
本稿では,ビデオ生成のためのモデルに依存しないアプローチであるTransportERとともに,ロジット・トゥ・ビデオ(L2V)タスクを提案する。
TransporterはVLMの高セマンティック埋め込み空間への最適輸送結合を学習する。
代わりに、ロジットスコアは条件付きビデオ生成のための埋め込み方向を定義する。
論文 参考訳（メタデータ） (2025-11-23T09:12:48Z) - Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。
我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
論文 参考訳（メタデータ） (2025-10-15T19:14:58Z) - Bridging Vision Language Models and Symbolic Grounding for Video Question Answering [4.215692222461999]
Video Question Answering (VQA) は、ビデオにおける空間的、時間的、因果的な手がかりを推論するモデルを必要とする。
最近の視覚言語モデル(VLM)は強い結果を得るが、しばしば浅い相関に頼り、時間的基盤の弱さと限定的な解釈可能性をもたらす。
シンボルシーングラフ(SG)をVQAの中間グラウンド信号として検討する。
本稿では,凍結したVLMとシーングラフのグラウンド化を,プロンプトと視覚的ローカライゼーションを通じて統合するモジュラーフレームワークであるSG-VLMを紹介する。
論文 参考訳（メタデータ） (2025-09-15T12:35:56Z) - Vad-R1: Towards Video Anomaly Reasoning via Perception-to-Cognition Chain-of-Thought [58.321044666612174]
Vad-R1は、ビデオ異常推論のためのエンドツーエンドのMLLMベースのフレームワークである。
我々は、異常を認識する人間の過程をシミュレートするパーセプション・トゥ・コグニション・チェーン・オブ・ワット(P2C-CoT)を設計する。
また,MLLMの異常推論能力を明示的に動機付ける改良型強化学習アルゴリズムAVA-GRPOを提案する。
論文 参考訳（メタデータ） (2025-05-26T12:05:16Z) - VCRBench: Exploring Long-form Causal Reasoning Capabilities of Large Video Language Models [29.706347050700867]
ビデオベース長周期因果推論(VCRBench)という新しいベンチマークを導入する。
VCRBenchは、LVLM(Large Video Language Model)が特定の目標を達成するために必要なイベントを特定し、推論し、正しくシーケンスできるかどうかをテストする。
本稿では,ビデオに基づく因果推論を,ビデオ認識と因果推論の2つのサブタスクに分割するモジュラーアプローチである認識推論分解(RRD)を提案する。
論文 参考訳（メタデータ） (2025-05-13T11:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。