論文の概要: WOVEN: Weaving Visual World Modeling into Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.12417v1
• Date: Thu, 08 Oct 2026 17:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.240366
• Title: WOVEN: Weaving Visual World Modeling into Multimodal LLMs
• Title（参考訳）: WOVEN: マルチモーダルLLMにビジュアルワールドモデリングを織る
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、空間的、具体的、物理的、時間的推論に苦しむ。 視覚遷移推論のためのトレーニングソースおよびベンチマークであるWOVENを紹介する。 MLLMを複数のスケールでトレーニングし、広く伝達する共有能力を学ぶ。
• 参考スコア（独自算出の注目度）: 84.25894537929223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) struggle with spatial, embodied, physical, and temporal reasoning. We hypothesize that these failures reflect a shared deficit in visual transition reasoning, and test whether this capability can serve as a shared training primitive, one that different models can learn from different supervision sources and reuse across different tasks, with a systematic training recipe. Existing benchmarks document these deficits separately but do not support controlled comparisons across scenes, actions, and reasoning operations. We therefore introduce WOVEN, a training source and benchmark for visual transition reasoning that organizes transition supervision by scene, action, and reasoning type, using diverse, realistic rollouts from video-pretrained generative models: 36,076 examples across 20 scene types, 5 action types, and 8 reasoning types. We first evaluate 38 frontier MLLMs (e.g., GPT-5.4 and Qwen3-VL-235B-A22B) and find a substantial and systematic deficit: even the strongest models fall far below humans, and the failures recur across model families and persist with scale. We then train MLLMs at multiple scales on WOVEN and find that they learn a shared capability that transfers broadly: training subsets of only about 2,000 items each collectively improve 22 of 26 external benchmarks by up to 27.3 percentage points, and WOVEN data can replace 30-50% of a task's own training data with comparable accuracy. Controlled comparisons further yield a training recipe for visual world modeling, validated prospectively on held-out benchmarks: select supervision by the reasoning operation it teaches rather than by the actions, scenes, or domains it shows, and prefer larger changes to the visual state for robustness. Our work establishes visual transition reasoning as a reusable foundation for systematic visual world-model training in MLLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、空間的、具体的、物理的、時間的推論に苦しむ。 これらの失敗は、視覚的遷移推論における共通の欠陥を反映していると仮定し、この能力が共有トレーニングプリミティブとして機能するかどうかを検証し、異なるモデルが異なる監督ソースから学習し、異なるタスク間で再利用できるかどうかを、体系的なトレーニングレシピを用いて検証する。 既存のベンチマークではこれらの欠陥を別々に記録しているが、シーン、アクション、推論操作の制御された比較をサポートしていない。 そこで,20種類のシーン,5種類のアクションタイプ,8種類の推論タイプにまたがる36,076例の映像事前生成モデルから,多種多様で現実的なロールアウトを用いて,シーン,アクション,推論タイプによる遷移監視を組織する視覚遷移推論のトレーニングソースおよびベンチマークであるWOVENを紹介する。 まず,38個のフロンティアMLLM(例えば GPT-5.4 と Qwen3-VL-235B-A22B )を評価し,有意かつ体系的な欠陥を見出した。 次に、WOVEN上でMLLMを複数スケールでトレーニングし、それらが広い範囲で伝達する共有能力を学ぶ: それぞれ約2000項目のトレーニングサブセットが、26の外部ベンチマークのうち22を最大27.3ポイント改善し、WOVENデータはタスク自身のトレーニングデータの30～50%を同等の精度で置き換えることができる。 制御された比較により、視覚世界モデリングのトレーニングレシピがさらに得られ、保留中のベンチマークで前向きに検証され、示すアクションやシーン、ドメインによってではなく、それが教える推論操作による監督が選択され、堅牢性のために視覚状態へのより大きな変更が好まれる。 本研究は,MLLMにおける系統的視覚世界モデルトレーニングのための再利用可能な基盤として,視覚遷移推論を確立した。

関連論文リスト

• Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training [82.17582358979884]
  多モーダル大規模言語モデル(MLLM)の推論能力を改善するために、明示的推論トレースを用いた後学習が一般的である。 MLLMのマルチモーダル推論を強化するための視覚対応型自己改善学習フレームワークであるVISTAを提案する。
  論文  参考訳（メタデータ） (2026-05-12T10:44:35Z)
• OneThinker: All-in-one Reasoning Model for Image and Video [45.8205286430071]
  多様な視覚的タスクにおける画像と映像の理解を統一するオールインワン推論モデルであるOneThinkerを提案する。 実験によると、OneThinkerは10の基本的な視覚的理解タスクに対して、31のベンチマークで強力なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-02T18:59:52Z)
• Unveiling the Compositional Ability Gap in Vision-Language Reasoning Model [39.58344147240552]
  我々は,大局的な視覚言語モデル (VLM) が,配布外条件下でのモダリティやタスクにまたがる機能を構成することができるかどうかを検討する。 我々の研究は、RLベースの推論VLMトレーニングの現在の限界に光を当て、モーダルやタスクにまたがる構成的推論モデル構築に向けた実用的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-26T01:42:38Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• CogCoM: A Visual Language Model with Chain-of-Manipulations Reasoning [61.21923643289266]
  カオス・オブ・マニピュレーション(Chain of Manipulations)は、視覚言語モデル(Vision-Language Models)が、エビデンスを段階的に解決するメカニズムである。 トレーニング後、モデルは外部ツールを介さずに、本質的な操作(グラウンド、ズームインなど)を積極的に行うことで、様々な視覚的問題を解決することができる。 トレーニングされたモデルである textbfCogCoM は、4つのカテゴリの9つのベンチマークで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-02-06T18:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。