論文の概要: PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control

• arxiv url: http://arxiv.org/abs/2609.17521v2
• Date: Mon, 21 Sep 2026 19:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.628107
• Title: PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
• Title（参考訳）: PhysStream: 構造化シーン記憶とファイングラインドモーション制御による物理画像生成
• Abstract要約: PhysStreamは物理地上画像合成のための自己回帰モデルである。 スパース速度インクリメント信号による微粒な動き制御をサポートする。 PhysStreamは、ウィジェット内比較の85%以上において、人間の評価者によって好まれる。
• 参考スコア（独自算出の注目度）: 85.54736105647055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive control for video generation is moving from coarse prompts toward fine-grained, physically meaningful manipulation of dynamic scenes. Yet existing controllable methods either require the full control schedule before generation starts, or use pixel-space signals that dictate object positions rather than physical dynamics. To address these limitations, we propose PhysStream, an autoregressive model for physics-grounded image-to-video synthesis that incorporates structured scene memory---positional maps and object tracking maps derived online from previously generated frames---and supports fine-grained motion control via sparse velocity-increment signals that encode physical quantities, letting the model learn the underlying dynamics. We train our model in two stages: a bidirectional model is first finetuned with motion-control conditioning, then a causal autoregressive model is trained with additional structured scene memory, further improving physical consistency. PhysStream enables interactive, mid-generation control over multi-object tabletop rigid-body scenes---a capability not supported by prior methods---reducing motion distribution distance (FVMD) by 33% and trajectory error by 12% over the strongest baselines on synthetic benchmarks, and is preferred by human evaluators in over 85% of in-the-wild comparisons. Please check our website for more details: https://czzzzh.github.io/PhysStream
• Abstract（参考訳）: ビデオ生成のためのインタラクティブ制御は、粗いプロンプトから、ダイナミックシーンの微粒で物理的に意味のある操作へと移行している。 しかし、既存の制御可能なメソッドは生成開始前に完全な制御スケジュールを必要とするか、物理力学ではなく物体の位置を指示するピクセル空間信号を使用するかのいずれかである。 これらの制約に対処するために,PhysStreamを提案する。これは物理基底画像合成のための自己回帰モデルで,構造化されたシーンメモリを組み込んだ - 以前生成されたフレームからオンラインに抽出された位置マップとオブジェクト追跡マップ - と,物理量をエンコードするスパース速度インクリメント信号によるきめ細かな動き制御をサポートし,モデルが基礎となるダイナミクスを学習できるようにする。 まず、双方向モデルに動き制御条件を調整し、その後、因果自己回帰モデルに追加の構造化シーンメモリをトレーニングし、物理的整合性を向上させる。 PhysStreamは、マルチオブジェクトテーブルトップの剛体シーンに対するインタラクティブな中世代制御を可能にする。--従来の手法ではサポートされていない機能----- 動き分布距離(FVMD)を33%減らし、軌道誤差を12%減らし、合成ベンチマーク上で最強のベースラインを上回る。 詳細はWebサイトをご覧ください。

関連論文リスト

• Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision [78.04385989413382]
  ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。 我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。 予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-07-28T06:13:18Z)
• Learning Explicit Physical Parameter Control and Benchmarking for Video Generation [21.331326205371628]
  本稿では,物体レベルの力,質量,摩擦,再生,シーンレベルの重力を条件とした物理誘導映像拡散モデルPhyParamを提案する。 また、PhyParam-Benchは、画像とビデオの生成における物理法則の整合性を示すベンチマークである。
  論文  参考訳（メタデータ） (2026-07-21T10:06:55Z)
• TelePhysics: Physics-Grounded Multi-Object Scene Generation from a Single Image with Real-Time Interaction [51.01447538245441]
  トレーニング不要なフレームワークであるTelePhysicsを提案する。 空間座標系で全シーンの幾何学を表現することで、TelePhysicsは物体の侵入とアライメントのあいまいさを解消する。 実験結果から,TelePhysicsは,物理忠実度,空間コヒーレンス,制御性において,従来手法よりも大幅に優れていたことがわかった。
  論文  参考訳（メタデータ） (2026-05-19T08:16:44Z)
• DynaVid: Learning to Generate Highly Dynamic Videos using Synthetic Motion Data [51.316274891736164]
  DynaVidは、トレーニングで合成モーションデータを活用するビデオ合成フレームワークである。 ダイナミックモーション生成とカメラモーション制御において,DynaVidはリアリズムと制御性を向上することを示す。
  論文  参考訳（メタデータ） (2026-04-02T06:12:38Z)
• Physical Simulator In-the-Loop Video Generation [96.87054314612142]
  Physical Simulator In-the-loop Video Generation (PSIVG)は、物理シミュレータをビデオ拡散プロセスに統合する新しいフレームワークである。 PSIVGは、視覚的品質と多様性を保ちながら、現実世界の物理に忠実なビデオを制作する。
  論文  参考訳（メタデータ） (2026-03-06T15:48:25Z)
• PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation [53.06495362038348]
  既存の世代モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れているが、物理的な可視性と3D制御性に欠けることが多い。 本稿では物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。 実験によると、PhysCtrlは現実的な物理地上の運動軌跡を生成し、画像とビデオのモデルを駆動する際に高忠実で制御可能なビデオを生成する。
  論文  参考訳（メタデータ） (2025-09-24T17:58:04Z)
• Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
  オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。 リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。 提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
  論文  参考訳（メタデータ） (2024-10-10T10:24:59Z)
• Physics-based Scene Layout Generation from Human Motion [21.939444709132395]
  本研究では、シーンレイアウト生成を同時に最適化し、物理シミュレータで動く人間をシミュレートする物理に基づくアプローチを提案する。 我々は、強化学習を用いて、キャラクタ動作模倣コントローラとシーンレイアウトジェネレータの両方の二重最適化を行う。 提案手法は,SAMPとPROXの動作を用いて評価し,従来のキネマティクス法と比較して,物理的に妥当なシーンレイアウトの再構築を示す。
  論文  参考訳（メタデータ） (2024-05-21T02:36:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。