PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
Abstractの概要
PhysStreamは、複数の物体が存在する卓上シーンにおいて、物理に基づいたインタラクティブな制御を行うための自己回帰型image-to-video生成手法です。本モデルは単一の入力画像を受け取り、事前に完全なモーション計画を必要とすることなく、選択したタイムステップで物体ごとのスパースな速度増分信号を注入できます。ストリーミング生成中の物理的および幾何学的一貫性を維持するために、単眼深度推定による位置マップと生成済みフレームからオンラインで導出される物体追跡マップで構成される構造化シーンメモリを使用します。学習手順は2段階に分かれており、まず双方向動画モデルをモーション制御に適応させ、次にシーンメモリを組み込んだ因果的自己回帰モデルへと変換します。実験では、合成ベンチマーク、実環境シーン、実世界キャプチャ、長期生成、および微調整された非剛体設定を対象としています。
新規性
本論文の主な新規性は、エンドツーエンドの自己回帰型動画生成モデルにおいて、直接的なシーンレベルのインタラクティブ制御と物理に基づく速度入力を統合した点にあります。さらに、履歴依存の条件付けメカニズムとして構造化シーンメモリ（オンラインの位置および追跡マップ）を導入し、双方向から因果的生成への移行時に生じる情報漏洩を防ぐ2段階の学習戦略を提案しています。
成果
合成マルチオブジェクト・インタラクティブベンチマークにおいて、PhysStreamはFVMD 787.0、Traj-ADE 40.24を含む比較手法中最高の物理感応スコアを達成し、最強のベースラインと比較して運動分布距離を33%、軌道誤差を12%削減しました。実環境の比較でも最も高いMLLMスコアを獲得し、人手評価において物理的妥当性で91.8%、運動精度で88.4%、視覚的品質で91.2%の支持を得ました。また、外観ドリフトの蓄積により一貫性は徐々に低下するものの、301フレームの長期シーケンスにわたって高い制御応答性を維持します。
論文の注目点
- PhysStreamは、生成中にインタラクティブに適用可能な物体ごとのスパースな速度増分制御を備えた、ストリーミングimage-to-video生成を実現する。
- オンライン深度に基づく位置マップとSAM2ベースの物体追跡マップによる構造化シーンメモリで自己回帰生成を拡張し、2段階の双方向から因果的へのパイプラインで学習する。
- 合成環境および実環境の評価において、従来の制御可能ベースラインと比べて運動制御の追従性と物理的妥当性を向上させ、長期的な制御能力も実証している。
参考リンク
- arXiv: https://arxiv.org/abs/2609.17521v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.17521v1
- Hugging Face Papers: https://huggingface.co/papers/2609.17521
- Project: https://czzzzh.github.io/PhysStream