論文の概要: StrucPhysVideo: Learning Physical Dynamics from Structured Captions and Robot Actions
- arxiv url: http://arxiv.org/abs/2609.18430v1
- Date: Wed, 16 Sep 2026 10:23:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.751378
- Title: StrucPhysVideo: Learning Physical Dynamics from Structured Captions and Robot Actions
- Title（参考訳）: StrucPhysVideo: 構造的キャプションとロボットアクションから物理力学を学ぶ
- Abstract要約: StrucPhysVideoは、物理に焦点を当てたデータキュレーションを言語とアクション条件でシーンの進化を予測する。
我々のデータパイプラインは、モーション対応のビデオセグメンテーション、品質とコンテンツのフィルタリング、物理的妥当性検証を組み合わせたものです。
StrucPhysVideoをStrucPhysVideo-IA2Vに拡張します。
- 参考スコア（独自算出の注目度）: 22.832070421263364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling physical dynamics, including how objects move, interact, and change state, is central to video world models for embodied AI. We present StrucPhysVideo, a family of video world models that bridges physics-focused data curation with language- and action-conditioned prediction of scene evolution. Our data pipeline combines motion-aware video segmentation, quality and content filtering, and physical relevance verification with structured annotations of objects, materials, and temporally localized interactions. By disentangling camera motion from object behavior and explicitly describing contact, deformation, and state transitions, the pipeline provides supervision grounded in observable physical events. Building on these data, we introduce StrucPhysVideo-TI2V, a sparse Mixture-of-Experts (MoE) text-image-to-video model trained with a curriculum that progressively emphasizes physical dynamics while retaining general-domain video data. StrucPhysVideo-TI2V achieves state-of-the-art performance on Physics-IQ Verified, scoring 45.5% and outperforming Cosmos3-Super-Image2Video by 2.8 percentage points. Caption ablations across backbones further demonstrate the effectiveness of physics-focused supervision. We further extend StrucPhysVideo-TI2V to StrucPhysVideo-IA2V, an interactive image-action-to-video world model that predicts visual outcomes from robot end-effector commands. Action conditioning, causal autoregressive generation, and few-step distillation enable incremental robot rollouts with only four denoising steps. Together, StrucPhysVideo advances physical dynamics modeling from image- and language-conditioned video prediction toward action-driven interaction.
- Abstract（参考訳）: オブジェクトの移動、相互作用、状態の変化を含む物理的なダイナミクスのモデリングは、エンボディされたAIのためのビデオワールドモデルの中心である。
StrucPhysVideoは、物理に焦点を当てたデータキュレーションを言語とアクション条件によるシーンの進化予測でブリッジする、ビデオワールドモデルのファミリーである。
我々のデータパイプラインは、モーション対応ビデオセグメンテーション、品質とコンテンツフィルタリング、およびオブジェクト、材料、時間的局所化相互作用の構造的アノテーションによる物理的関連性検証を組み合わせる。
カメラの動きを物体の動作から遠ざけ、接触、変形、状態遷移を明示的に記述することで、パイプラインは観測可能な物理的事象を基盤とした監視を提供する。
これらのデータに基づいて、一般的なビデオデータを保持しながら物理力学を徐々に強調するカリキュラムで訓練された、スパース・ミックス・オブ・エクササイズ(MoE)テキスト画像・ビデオモデルであるStrucPhysVideo-TI2Vを紹介する。
StrucPhysVideo-TI2VはPhysics-IQ Verifiedで最先端のパフォーマンスを達成し、45.5%、Cosmos3-Super-Image2Videoを2.8ポイント上回った。
バックボーンにまたがるキャプションの短縮は、物理学に焦点を絞った監督の有効性をさらに示している。
我々はさらにStrucPhysVideo-TI2VをStrucPhysVideo-IA2Vに拡張する。
アクションコンディショニング、因果自己回帰生成、および数ステップの蒸留により、わずか4ステップでインクリメンタルなロボットロールアウトが可能になる。
StrucPhysVideoは、画像と言語で条件付けられたビデオ予測からアクション駆動インタラクションへの物理力学モデリングを併用する。
関連論文リスト
- PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control [85.54736105647055]
PhysStreamは物理地上画像合成のための自己回帰モデルである。
スパース速度インクリメント信号による微粒な動き制御をサポートする。
PhysStreamは、ウィジェット内比較の85%以上において、人間の評価者によって好まれる。
論文 参考訳（メタデータ） (2026-09-15T17:55:13Z) - PhysFlow: Physics-Aware Optical Flow for Motion Controllable Video Generation [20.070221678923968]
PhysFlowは、生成されたビデオの物理的妥当性を改善するためのフレームワークである。
PA-Flowと呼ばれる物理対応の光フロービデオジェネレータと、FlowRenderと呼ばれるフロー誘導ビデオジェネレータで構成されている。
提案したPhysFlowは、高い視力を維持しながら、より優れた物理的可視性を持つビデオを生成する。
論文 参考訳（メタデータ） (2026-09-08T03:57:21Z) - Learning Explicit Physical Parameter Control and Benchmarking for Video Generation [21.331326205371628]
本稿では,物体レベルの力,質量,摩擦,再生,シーンレベルの重力を条件とした物理誘導映像拡散モデルPhyParamを提案する。
また、PhyParam-Benchは、画像とビデオの生成における物理法則の整合性を示すベンチマークである。
論文 参考訳（メタデータ） (2026-07-21T10:06:55Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳（メタデータ） (2026-04-30T17:53:03Z) - PhysInOne: Visual Physics Learning and Reasoning in One Suite [41.08902311182402]
我々は、AIシステムのための物理地上トレーニングデータの致命的な不足に対処する大規模な合成データセットであるPhysInOneを提示する。
数百から数千のサンプルに制限された既存のデータセットとは異なり、PhysInOneは153,810のダイナミックな3Dシーンに200万のビデオを提供する。
我々はPhysInOneの有効性を、物理対応ビデオ生成、長期・短期のフレーム予測、物理的特性推定、モーション転送の4つの新しいアプリケーションで実証する。
論文 参考訳（メタデータ） (2026-04-10T15:27:27Z) - Phantom: Physics-Infused Video Generation via Joint Modeling of Visual and Latent Physical Dynamics [12.143531149918674]
本稿では,視覚的内容と潜伏する物理力学を共同でモデル化する物理拡散ビデオ生成モデルを提案する。
観測されたビデオフレームと推論された物理状態に基づいて、Phantomは遅延物理的ダイナミクスを共同で予測し、将来のビデオフレームを生成する。
物理認識ビデオ表現の推論を直接ビデオ生成プロセスに統合することにより、Phantomは視覚的にリアルかつ物理的に一貫性のあるビデオシーケンスを生成する。
論文 参考訳（メタデータ） (2026-04-09T17:48:46Z) - PhysVideo: Physically Plausible Video Generation with Cross-View Geometry Guidance [31.104339154260312]
物理対応ビデオを生成するフレームワークであるPhysVideoを提案する。
第一段階では、Phys4Viewは運動力学における物理的属性の影響を捉え、空間的時間的一貫性を高める。
第2段階では、生成した動画をガイダンスとして使用し、制御可能なビデオ合成のための前景ダイナミクスと背景コンテキストの相互作用を学習する。
論文 参考訳（メタデータ） (2026-03-19T09:03:06Z) - PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding [50.454084539837005]
PhysChoreoは、単一の画像から多様な制御性と物理的なリアリズムを持つビデオを生成する新しいフレームワークである。
本手法は2つの段階から構成される: まず, 画像中の全ての物体の静的初期特性を, 部分認識の物理的特性再構成により推定する。
そして、時間的に指示され、物理的に編集可能なシミュレーションを通じて、リッチな動的な振る舞いと物理的なリアリズムで高品質な動画を合成する。
論文 参考訳（メタデータ） (2025-11-25T17:59:04Z) - PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis [52.905353023326306]
物理的に妥当で多様な実演を合成し、効率的な世界モデルを学ぶためのフレームワークであるPhysWorldを提案する。
実験により、PhysWorldは、最新の最先端手法、すなわちPhysTwinよりも47倍高速な推論速度を実現しつつ、競争性能を持つことが示された。
論文 参考訳（メタデータ） (2025-10-24T13:25:39Z) - VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior [88.51778468222766]
近年,映像拡散モデル (VDM) が大幅に進歩し,映像のリアル化が進んでいる。
VDMは物理の理解の欠如のため、物理的にもっともらしいビデオを作ることができないことが多い。
本稿では,物理を視覚と言語に明示的に組み込んだ新しい2段階画像・映像生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-30T09:03:09Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。