論文の概要: CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness
- arxiv url: http://arxiv.org/abs/2610.21910v1
- Date: Thu, 15 Oct 2026 13:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.10076
- Title: CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness
- Title(参考訳): CoWorld Reasoner: 進化するビデオワールドモデル駆動のハーネスによるエージェントマルチモーダル推論
- Abstract要約: ビデオワールドモデル(VWM)は、視覚的想像力のための自然な統合エンジンを提供する。
既存のアプローチは通常、事前に定義された視覚的想像力の形式を中心とした固定パイプラインを通してVWMを呼び出す。
本稿では,VWMを統合視覚推論エンジンとして使用するエージェントフレームワークであるReasonWorld Visionerを紹介する。
- 参考スコア(独自算出の注目度): 21.55850634932575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Vision-Language Models (VLMs) advance, they are increasingly expected to perform spatiotemporal reasoning over motion, actions, and view changes beyond what the input images show. Video World Models (VWMs) provide a natural unified engine for visual imagination by generating task-relevant visual content as additional evidence. However, existing approaches typically invoke a VWM through fixed pipelines centered on a predefined form of visual imagination, such as novel-view synthesis. To support flexible visual imagination for diverse reasoning tasks, we introduce CoWorld Reasoner, an agentic framework that uses a VWM as a unified visual reasoning engine. Its Video World Model-Driven Harness exposes multiple visual operations through tools and uses skills to guide the VLM in deciding whether to imagine, selecting an operation, constructing a generation request, and interpreting the resulting visual evidence. We further introduce VLM-VWM Harness Co-Evolution, which jointly revises tools, skills, and execution code based on execution feedback while keeping both model weights fixed. Across seven benchmarks spanning spatial intelligence, temporal and causal reasoning, and perceptual reasoning, CoWorld Reasoner outperforms direct reasoning with the same VLM. The strongest variant improves on all seven benchmarks, including relative accuracy gains of 11.8% on MMSI and 13.0% on ERQA, and outperforms all five evolving baselines using the same backbone across five benchmarks.
- Abstract(参考訳): VLM(Vision-Language Models)が進むにつれて、彼らは、入力画像が示すものを超える変化を、動き、アクション、ビューに対して時空間的推論を行うことがますます期待されている。
ビデオワールドモデル(VWM)は、タスク関連視覚コンテンツを付加的な証拠として生成することにより、視覚的想像力の自然な統一エンジンを提供する。
しかしながら、既存のアプローチは、通常、新規ビュー合成のような事前に定義された視覚的想像力の形式を中心とした固定パイプラインを通してVWMを呼び出す。
多様な推論タスクに対して柔軟な視覚的想像力をサポートするために,VWMを統一的な視覚的推論エンジンとして使用するエージェントフレームワークであるCoWorld Reasonerを導入する。
Video World Model-Driven Harnessはツールを通じて複数の視覚操作を公開し、VLMが想像するか、操作を選択し、生成要求を構築し、その結果の視覚的証拠を解釈するかを決定するためのスキルを使用する。
さらに、VLM-VWM Harness Co-Evolutionを導入し、両モデルの重みを固定しつつ、実行フィードバックに基づいてツール、スキル、実行コードを共同で修正する。
空間的インテリジェンス、時間的および因果推論、知覚的推論にまたがる7つのベンチマークで、CoWorld Reasonerは同じVLMで直接推論を上回っている。
最強の変種は、MMSIで11.8%、ERQAで13.0%の相対的精度向上を含む7つのベンチマークで改善され、5つのベンチマークで同じバックボーンを使用して進化する5つのベースラインすべてを上回っている。
関連論文リスト
- EPIC-Bench: A Perception-Centric Benchmark for Fine-Grained Embodied Visual Grounding in Vision-Language Models [39.77362541405281]
EPIC-Benchは、大規模視覚言語モデル(VLM)の基盤ベンチマークである。
実環境におけるVLMの視覚知覚能力を体系的に評価する。
論文 参考訳(メタデータ) (2026-05-16T16:38:51Z) - ViPER: Empowering the Self-Evolution of Visual Perception Abilities in Vision-Language Model [61.29164681694533]
ViPERは、自己評価と自己予測を通じて反復的な進化を可能にするように設計されたセルフブートストラッピングフレームワークである。
Qwen-Viperは、汎用性を維持しながら、さまざまな視覚言語シナリオにおける優れたパフォーマンスを一貫して示す。
論文 参考訳(メタデータ) (2025-10-28T10:42:57Z) - Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。
我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。
また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
論文 参考訳(メタデータ) (2025-10-01T17:58:05Z) - Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。
最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。
DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2025-10-01T13:07:05Z) - Reinforced Visual Perception with Tools [66.79840157663237]
本稿では,GRPOに基づく新しいRLアルゴリズムを提案する。
本手法は,複数の知覚重度ベンチマークにおいて,最先端の性能を実現する。
我々のReVPT-3BとReVPT-7BはCV-Benchでインストラクションモデルを9.03%、9.44%上回っている。
論文 参考訳(メタデータ) (2025-09-01T17:57:49Z) - Understand, Think, and Answer: Advancing Visual Reasoning with Large Multimodal Models [26.14137626882127]
大規模マルチモーダルモデル(LMM)は、視覚言語と視覚中心のタスクの両方において、目覚しい視覚的理解性能を示す。
本稿では,LMMが複雑な構成問題を解くための統一的な視覚推論機構を提案する。
トレーニングされたモデルであるGriffon-Rには、エンドツーエンドの自動理解、自己思考、推論の回答能力があります。
論文 参考訳(メタデータ) (2025-05-27T05:50:25Z) - Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。
本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。
モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
論文 参考訳(メタデータ) (2024-06-24T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。