論文の概要: PhysFlow: Physics-Aware Optical Flow for Motion Controllable Video Generation
- arxiv url: http://arxiv.org/abs/2609.08215v1
- Date: Tue, 08 Sep 2026 03:57:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 17:04:51.595676
- Title: PhysFlow: Physics-Aware Optical Flow for Motion Controllable Video Generation
- Title(参考訳): PhysFlow:モーションコントロール可能なビデオ生成のための物理対応光フロー
- Abstract要約: PhysFlowは、生成されたビデオの物理的妥当性を改善するためのフレームワークである。
PA-Flowと呼ばれる物理対応の光フロービデオジェネレータと、FlowRenderと呼ばれるフロー誘導ビデオジェネレータで構成されている。
提案したPhysFlowは、高い視力を維持しながら、より優れた物理的可視性を持つビデオを生成する。
- 参考スコア(独自算出の注目度): 20.070221678923968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation models have recently attracted substantial attention for their ability to generate visually compelling videos, yet ensuring physically consistent and plausible dynamics still remains a fundamental challenge, driving a growing line of research on physical realism in video generation. To address this challenge, motivated by the fact that physical regularities are primarily encoded in motion patterns, we propose PhysFlow, a novel two-stage framework for improving the physical plausibility of generated videos by decomposing video generation into motion-aware optical flow generation followed by motion-conditioned appearance synthesis. Specifically, PhysFlow consists of a physics-aware optical-flow video generator called PA-Flow and a flow-guided video generator called FlowRender. During the first stage, PA-Flow employs a physics-aware attention module to model how motion attributes and material properties influence global motion and local deformation, respectively, and generates an optical flow video as an explicit representation of motion. In the second stage, FlowRender leverages the decoupled motion representation as guidance to synthesize realistic textures and appearances, ultimately producing the final physically plausible video. To further support model training with explicit physical supervision, we construct PhysVideo, a physics-based video dataset generated with a physics engine and 3D-GS rendering, containing 10K foreground objects and 50K realistic video sequences with annotations of motion and material properties. Extensive experiments demonstrate that our proposed PhysFlow generates videos with superior physical plausibility while maintaining high visual fidelity compared with existing methods.
- Abstract(参考訳): ビデオ生成モデルは近年、視覚的に説得力のあるビデオを生成する能力に対して大きな注目を集めているが、物理的に一貫したプラウティブルなダイナミックスを保証することは依然として根本的な課題であり、ビデオ生成における物理リアリズムの研究のラインを推し進めている。
この課題に対処するために、物理規則性は主に動きパターンに符号化されているという事実を動機として、動画生成をモーション対応光フロー生成に分解し、動き条件付き外観合成により生成ビデオの物理的妥当性を向上させるための新しい2段階のフレームワークであるPhysFlowを提案する。
具体的には、PhysFlowはPA-Flowと呼ばれる物理対応の光フロービデオジェネレータと、FlowRenderと呼ばれるフロー誘導ビデオジェネレータで構成されている。
最初の段階では、PA-Flowは、運動特性と物質特性がそれぞれグローバルな動きと局所的な変形にどのように影響するかをモデル化し、運動の明示的な表現として光学フロービデオを生成する。
第二段階では、FlowRenderは分離された動きの表現を、現実的なテクスチャと外観を合成するためのガイダンスとして利用し、最終的に最終的な物理的にもっともらしいビデオを生成する。
物理エンジンと3D-GSレンダリングで生成された物理ベースのビデオデータセットであるPhysVideoを構築し,動作や材料特性のアノテーションを付加した10K前景オブジェクトと50K実写ビデオシーケンスを含む。
提案したPhysFlowは,既存の手法と比較して高い視力を維持しつつ,身体的可視性に優れたビデオを生成する。
関連論文リスト
- PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - Phantom: Physics-Infused Video Generation via Joint Modeling of Visual and Latent Physical Dynamics [12.143531149918674]
本稿では,視覚的内容と潜伏する物理力学を共同でモデル化する物理拡散ビデオ生成モデルを提案する。
観測されたビデオフレームと推論された物理状態に基づいて、Phantomは遅延物理的ダイナミクスを共同で予測し、将来のビデオフレームを生成する。
物理認識ビデオ表現の推論を直接ビデオ生成プロセスに統合することにより、Phantomは視覚的にリアルかつ物理的に一貫性のあるビデオシーケンスを生成する。
論文 参考訳(メタデータ) (2026-04-09T17:48:46Z) - PhysVideo: Physically Plausible Video Generation with Cross-View Geometry Guidance [31.104339154260312]
物理対応ビデオを生成するフレームワークであるPhysVideoを提案する。
第一段階では、Phys4Viewは運動力学における物理的属性の影響を捉え、空間的時間的一貫性を高める。
第2段階では、生成した動画をガイダンスとして使用し、制御可能なビデオ合成のための前景ダイナミクスと背景コンテキストの相互作用を学習する。
論文 参考訳(メタデータ) (2026-03-19T09:03:06Z) - Physical Simulator In-the-Loop Video Generation [96.87054314612142]
Physical Simulator In-the-loop Video Generation (PSIVG)は、物理シミュレータをビデオ拡散プロセスに統合する新しいフレームワークである。
PSIVGは、視覚的品質と多様性を保ちながら、現実世界の物理に忠実なビデオを制作する。
論文 参考訳(メタデータ) (2026-03-06T15:48:25Z) - PhysVideoGenerator: Towards Physically Aware Video Generation via Latent Physics Guidance [2.2606796828967823]
現在のビデオ生成モデルは高品質な美的ビデオを生成するが、現実の物理力学の表現を学ぶのに苦労することが多い。
本稿では、ビデオ生成プロセスに先立って学習可能な物理を組み込む概念実証フレームワークであるPhysVideoGeneratorを提案する。
本稿では,事前学習したビデオジョイント埋め込み予測アーキテクチャから抽出した高レベルな物理特徴を抑圧する軽量な予測器ネットワークPredictorPを紹介する。
論文 参考訳(メタデータ) (2026-01-07T07:38:58Z) - PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding [50.454084539837005]
PhysChoreoは、単一の画像から多様な制御性と物理的なリアリズムを持つビデオを生成する新しいフレームワークである。
本手法は2つの段階から構成される: まず, 画像中の全ての物体の静的初期特性を, 部分認識の物理的特性再構成により推定する。
そして、時間的に指示され、物理的に編集可能なシミュレーションを通じて、リッチな動的な振る舞いと物理的なリアリズムで高品質な動画を合成する。
論文 参考訳(メタデータ) (2025-11-25T17:59:04Z) - PhysMaster: Mastering Physical Representation for Video Generation via Reinforcement Learning [49.88366485306749]
現代のビデオ生成モデルは、視覚的にリアルなビデオを生成することができるが、物理法則に従わないことが多い。
本稿では,物理認識力を高めるため,映像生成モデルを導くための表現として,物理知識を捉えたPhysMasterを提案する。
論文 参考訳(メタデータ) (2025-10-15T17:59:59Z) - PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation [53.06495362038348]
既存の世代モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れているが、物理的な可視性と3D制御性に欠けることが多い。
本稿では物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。
実験によると、PhysCtrlは現実的な物理地上の運動軌跡を生成し、画像とビデオのモデルを駆動する際に高忠実で制御可能なビデオを生成する。
論文 参考訳(メタデータ) (2025-09-24T17:58:04Z) - PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。
リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。
我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
論文 参考訳(メタデータ) (2024-09-27T17:59:57Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳(メタデータ) (2024-06-03T16:05:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。