論文の概要: VIDEAS: Distilling Explicit Action Semantics from Demonstration Videos for World Models via Prior-Guided Simulation

• arxiv url: http://arxiv.org/abs/2609.33464v1
• Date: Sun, 27 Sep 2026 11:19:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:37:15.544156
• Title: VIDEAS: Distilling Explicit Action Semantics from Demonstration Videos for World Models via Prior-Guided Simulation
• Title（参考訳）: VIDEAS: 事前誘導シミュレーションによる世界モデルのためのデモビデオからの明示的なアクションセマンティクスの蒸留
• Abstract要約: VIDEASは、連続的な物理力学を基礎モデルのための明示的なアクションセマンティクスに変換するデータ蒸留フレームワークである。 AgiBot-Worldデータセットから34Kの高品質なサンプルを学習した言語ベースワールドモデルの8B/9BパラメータスイートであるVIDEAS-WMを提案する。
• 参考スコア（独自算出の注目度）: 22.76020564718702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models learn internal representations of environment dynamics to predict future states, enabling agents to optimize action plans without physical interactions. However, developing world models that genuinely internalize underlying causal physical laws to explicitly reason about action preconditions and subsequent state transitions remains an open challenge. In this paper, we propose VIDEAS, a data distillation framework that transforms continuous physical dynamics from operational videos into explicit action semantics for foundation models. Specifically, it deconstructs visual demonstrations into discrete action trajectories and utilizes advanced vision-language models (VLMs) to extract structured knowledge encapsulating action preconditions and effects. To ensure physical consistency, we introduce a prior-guided trajectory simulation mechanism grounded within a text-based environment to rigorously validate the extracted knowledge. Notably, we incorporate negative trajectories to enrich knowledge completeness and enhance data diversity to mitigate cognitive bias. Furthermore, we present VIDEAS-WM, an 8B/9B-parameter suite of language-based world models trained on 34K high-quality samples derived from AgiBot-World dataset. Extensive experiments demonstrate that VIDEAS-WM establishes state-of-the-art performance in high-level embodied action semantic reasoning, exhibiting profound physical understanding and robust generalization across unseen scenarios.
• Abstract（参考訳）: 世界モデルは、将来の状態を予測するために環境力学の内部表現を学び、エージェントは物理的な相互作用なしにアクションプランを最適化できる。 しかしながら、行動前提条件とその後の状態遷移を明確に推論するために、根底にある因果的物理法則を真に内在化する世界モデルを開発することは、未解決の課題である。 本稿では,連続的な物理力学を操作ビデオから基礎モデルのための明示的なアクションセマンティクスに変換するデータ蒸留フレームワークであるVIDEASを提案する。 具体的には、視覚的な実演を離散的な行動軌跡に分解し、高度な視覚言語モデル(VLM)を用いて、行動前提条件と効果をカプセル化した構造化知識を抽出する。 物理的整合性を確保するため,テキストベース環境に基礎を置く事前誘導軌道シミュレーション機構を導入し,抽出した知識を厳密に検証する。 特に,知識の完全性を高め,データの多様性を高め,認知バイアスを軽減するために,負の軌跡を取り入れた。 さらに、AgiBot-Worldデータセットから34Kの高品質なサンプルを学習した言語ベースワールドモデルの8B/9BパラメータスイートであるVIDEAS-WMを提案する。 大規模な実験により、VIDEAS-WMは高レベルな動作セマンティック推論において最先端のパフォーマンスを確立し、深い物理的理解と、目に見えないシナリオをまたいだ堅牢な一般化を示すことが示されている。

関連論文リスト

• World Action Models: The Next Frontier in Embodied AI [123.5787299299832]
  VLA(Vision-Language-Action)モデルは、具体的政策学習のための強力なセマンティックな一般化を実現している。 彼らは、物理的な世界が介入の下でどのように進化するかを明示的にモデル化することなく、リアクティブな観察から行動へのマッピングを学ぶ。 成長するこの制限には、世界モデル、環境ダイナミクスの予測モデル、アクション生成パイプラインを統合することで対処する。
  論文  参考訳（メタデータ） (2026-05-12T13:10:52Z)
• Aligning Agentic World Models via Knowledgeable Experience Learning [68.85843641222186]
  環境フィードバックをシンセサイザー化したWorld Knowledge Repositoryを構築するフレームワークであるWorldMindを紹介する。 WorldMindは、優れたクロスモデルとクロス環境転送性を備えたベースラインよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-19T17:33:31Z)
• Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models [57.71440995598757]
  我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
  論文  参考訳（メタデータ） (2025-12-15T18:03:42Z)
• DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge [41.030494146004806]
  本稿では,逆動力学モデリングを実現するために,包括的世界知識予測を統合した新しいVLAフレームワークであるDreamVLAを提案する。 DreamVLAは、動的領域誘導の世界知識予測を導入し、空間的および意味的な手がかりと統合し、アクション計画のためのコンパクトで包括的な表現を提供する。 実世界とシミュレーション環境での実験では、ドリームVLAが実際のロボットタスクで76.7%の成功率を達成したことが示されている。
  論文  参考訳（メタデータ） (2025-07-06T16:14:29Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。