論文の概要: Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision

• arxiv url: http://arxiv.org/abs/2607.25321v1
• Date: Tue, 28 Jul 2026 06:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.72427
• Title: Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision
• Title（参考訳）: シミュレーションデータセットとデュアルストリーム光流スーパービジョンを用いた物理グラウンド流体映像生成
• Abstract要約: ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。 我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。 予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 78.04385989413382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video diffusion models generate visually compelling content but routinely violate elementary physics when the subject involves fluids: liquid columns break apart in mid-air, container water levels fail to rise as liquid is poured in, and splashes disperse without regard to momentum or gravity. We attribute this gap to the fact that large-scale video-text corpora contain almost no explicit motion supervision, so models learn to imitate fluid appearance rather than dynamics. We address this with two contributions. First, we build a physics-simulation fluid dataset combining 1,638 MPM-simulated pouring/sloshing videos with 2,320 keyword-filtered real pouring videos mined from stock footage, plus two held-out test sets: a 1,515-video real-video benchmark and an 18-prompt text-to-first-frame generalization benchmark. Second, we introduce a dual-stream image-to-video architecture built on a pretrained diffusion-transformer video generator. It augments the standard RGB decoder with a lightweight Optical-Flow Decoder branch trained with explicit end-point-error and smoothness losses, fused into the RGB stream via zero-initialized convolutions so the pretrained backbone starts undisturbed. Only the two decoders are updated; the encoder, temporal transformer, and text encoder remain frozen. Across two model scales (1.3B and 14B) and two test sets, our method improves VideoPhy-2 Physical-Commonsense and Video-Quality scores over the frozen backbone by up to 8.75 and 4.65 points, outperforms a leading open competitor, and is preferred by human raters in a blind study. A direct optical-flow read-out evaluation further shows an end-point error as low as 0.54 pixels in-distribution, confirming the model has internalized a coherent motion prior rather than merely improving surface appearance.
• Abstract（参考訳）: ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、液体が空中に分解され、液体が注がれると容器の水位が上昇せず、運動量や重力によらず分散する。 このギャップは、大規模ビデオテキストコーパスがほとんど明示的な動きの監督を含まないため、モデルがダイナミックスよりも流体の外観を模倣することを学習するのである。 これを2つのコントリビューションで解決する。 まず,1,638MPMを模擬した1,638MPMの注水/スローングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。 第2に、予め訓練された拡散変換器ビデオジェネレータ上に構築されたデュアルストリーム映像変換アーキテクチャを提案する。 標準のRGBデコーダを軽量の光フローデコーダブランチで拡張し、明示的なエンドポイントエラーと滑らかさの損失をトレーニングし、ゼロ初期化コンボリューションを通じてRGBストリームに融合することで、事前トレーニングされたバックボーンが乱れ始める。 2つのデコーダのみが更新され、エンコーダ、時間変換器、テキストエンコーダは凍結されている。 2つのモデルスケール(1.3Bと14B)と2つのテストセットにおいて、凍結したバックボーン上のビデオPhy-2物理コモンセンスとビデオクオリティのスコアを最大8.75および4.65ポイント改善し、主要なオープン競争相手よりも優れ、視覚障害者に好まれる。 さらに、直接光フロー読み出し評価では、端点誤差が0.04ピクセルの分布で低いことを示し、そのモデルが表面の外観を単に改善するのではなく、コヒーレントな動きを内部化していることを確認した。

関連論文リスト

• PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control [85.54736105647055]
  PhysStreamは物理地上画像合成のための自己回帰モデルである。 スパース速度インクリメント信号による微粒な動き制御をサポートする。 PhysStreamは、ウィジェット内比較の85%以上において、人間の評価者によって好まれる。
  論文  参考訳（メタデータ） (2026-09-15T17:55:13Z)
• Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation [78.41956766048308]
  Proprioは、凍結したジェネレータが自身の出力の物理的妥当性を評価し改善することを可能にする、トレーニング不要のフレームワークである。 自己運動の生物学的感覚であるプロプリセプションにインスパイアされたプロプリオは、モデルの流れを自己刺激信号として扱う。 Proprioは、テキスト・ツー・ビデオ・ベンチマークと画像・ツー・ビデオ・ベンチマークの物理的妥当性を一貫して改善する。
  論文  参考訳（メタデータ） (2026-05-27T09:44:18Z)
• 3DPhysVideo: Consistency-Guided Flow SDE for Video Generation via 3D Scene Reconstruction and Physical Simulation [13.662206166615098]
  この3DPhysVideoは、単一の画像から物理的にリアルなビデオを生成する、新しいトレーニング不要のパイプラインだ。 画像から映像へのフローモデル(I2V)を描画点雲で導いて360度3次元シーン形状を復元するために,新しいビューシンセサイザーとして利用する。 マルチオブジェクトや流体相互作用シーンを含む多種多様な実験において,本手法は単一画像から物理的に可視なビデオへのギャップを埋めることに成功した。
  論文  参考訳（メタデータ） (2026-05-16T03:56:52Z)
• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• Physical Simulator In-the-Loop Video Generation [96.87054314612142]
  Physical Simulator In-the-loop Video Generation (PSIVG)は、物理シミュレータをビデオ拡散プロセスに統合する新しいフレームワークである。 PSIVGは、視覚的品質と多様性を保ちながら、現実世界の物理に忠実なビデオを制作する。
  論文  参考訳（メタデータ） (2026-03-06T15:48:25Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)
• AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
  テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。 従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。 我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
  論文  参考訳（メタデータ） (2024-06-10T17:02:08Z)
• All in One: Exploring Unified Video-Language Pre-training [44.22059872694995]
  そこで本研究では,生のビデオとテキストの信号を共同表現に組み込んだ,エンドツーエンドのビデオ言語モデルであるtextitall-in-one Transformerを提案する。 コードと事前訓練されたモデルはhttps://github.com/showlab/all-in-one.comでリリースされた。
  論文  参考訳（メタデータ） (2022-03-14T17:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。