論文の概要: FluidNexus: 3D Fluid Reconstruction and Prediction from a Single Video
- arxiv url: http://arxiv.org/abs/2503.04720v1
- Date: Thu, 06 Mar 2025 18:59:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 15:59:15.170866
- Title: FluidNexus: 3D Fluid Reconstruction and Prediction from a Single Video
- Title（参考訳）: FluidNexus: 単一ビデオからの3D流体再構成と予測
- Authors: Yue Gao, Hong-Xing Yu, Bo Zhu, Jiajun Wu,
- Abstract要約: 現在の方法では、流体再構成のためのマルチビュービデオが必要である。
我々はビデオ生成と物理シミュレーションを橋渡しする新しいフレームワークであるFluidNexusを紹介する。
本手法は, 単一流体映像からの動的新規ビュー合成, 将来予測, 相互作用シミュレーションを可能にする。
- 参考スコア（独自算出の注目度）: 29.432334759465643
- License:
- Abstract: We study reconstructing and predicting 3D fluid appearance and velocity from a single video. Current methods require multi-view videos for fluid reconstruction. We present FluidNexus, a novel framework that bridges video generation and physics simulation to tackle this task. Our key insight is to synthesize multiple novel-view videos as references for reconstruction. FluidNexus consists of two key components: (1) a novel-view video synthesizer that combines frame-wise view synthesis with video diffusion refinement for generating realistic videos, and (2) a physics-integrated particle representation coupling differentiable simulation and rendering to simultaneously facilitate 3D fluid reconstruction and prediction. To evaluate our approach, we collect two new real-world fluid datasets featuring textured backgrounds and object interactions. Our method enables dynamic novel view synthesis, future prediction, and interaction simulation from a single fluid video. Project website: https://yuegao.me/FluidNexus.
- Abstract（参考訳）: 一つのビデオから3次元流体の外観と速度を再構成し,予測する。
現在の方法では、流体再構成のためのマルチビュービデオが必要である。
我々は,この課題に対処するために,映像生成と物理シミュレーションを橋渡しする新しいフレームワークであるFluidNexusを紹介する。
我々の重要な洞察は、再構成のための参照として、複数のノベルビュービデオを合成することである。
FluidNexus は,(1) フレームワイド映像合成と映像拡散微細化を組み合わせた映像合成装置,(2) 物理積分粒子表現結合シミュレーションとレンダリングにより3次元流体再構成と予測を同時に行う。
提案手法を評価するために,テクスチャ化された背景とオブジェクトの相互作用を特徴とする2つの実世界の流体データセットを収集した。
本手法は, 単一流体映像からの動的新規ビュー合成, 将来予測, 相互作用シミュレーションを可能にする。
プロジェクトウェブサイト: https://yuegao.me/FluidNexus.com
関連論文リスト
- Video Creation by Demonstration [59.389591010842636]
我々は、条件付き将来のフレーム予測によってラベルなしビデオから学習する自己教師型トレーニングアプローチである$delta$-Diffusionを提案する。
映像基盤モデルと外観ボトルネック設計を併用して,実演映像から動作遅延を抽出し,生成プロセスの条件付けを行う。
実証的に、$delta$-Diffusionは人間の好みと大規模マシン評価の両方の観点から、関連するベースラインを上回っている。
論文 参考訳（メタデータ） (2024-12-12T18:41:20Z) - GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳（メタデータ） (2023-12-07T18:59:41Z) - ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models [33.760292331843104]
単一のイメージからオブジェクトの新たなビューを生成することは、難しい作業です。
近年,拡散に基づくビュー合成法は大きな進歩を見せている。
本稿では,事前学習したビデオ拡散モデルを用いた簡単な方法を示す。
論文 参考訳（メタデータ） (2023-12-03T06:50:15Z) - FusionFrames: Efficient Architectural Aspects for Text-to-Video
Generation Pipeline [4.295130967329365]
本稿では,テキスト・ツー・イメージ拡散モデルに基づく2段階の遅延拡散テキスト・ビデオ生成アーキテクチャを提案する。
本モデルの設計は,他のマスクフレーム手法と比較して計算コストを大幅に削減する。
我々は,MoVQに基づくビデオデコーディング方式の異なる構成を評価し,一貫性を改善し,PSNR,SSIM,MSE,LPIPSのスコアを向上させる。
論文 参考訳（メタデータ） (2023-11-22T00:26:15Z) - Diffusion-Guided Reconstruction of Everyday Hand-Object Interaction
Clips [38.02945794078731]
短いビデオクリップから手動物体のインタラクションを再構築する作業に取り組む。
提案手法は,映像ごとの3D推論を最適化し,物体形状のニューラルな3D表現を復元する。
我々は、エゴセントリックビデオに対する我々のアプローチを実証的に評価し、以前のシングルビュー法やマルチビュー法よりも大幅に改善されていることを観察した。
論文 参考訳（メタデータ） (2023-09-11T17:58:30Z) - Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。
我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。
本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-05-06T09:07:01Z) - Learning Vortex Dynamics for Fluid Inference and Prediction [25.969713036393895]
本研究では, 可変渦粒子を用いた新しい機械学習手法を提案し, 一つのビデオから流体力学を推論し, 予測する。
そこで我々は, 学習可能な渦対速度のダイナミックスマッピングと組み合わせて, 複雑な流れの特徴を効果的に捉え, 表現するために, 新たな微分可能渦粒子系を考案した。
論文 参考訳（メタデータ） (2023-01-27T02:10:05Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z) - WALDO: Future Video Synthesis using Object Layer Decomposition and
Parametric Flow Prediction [82.79642869586587]
WALDOは、過去のビデオフレームを予測するための新しいアプローチである。
個々の画像は、オブジェクトマスクと小さなコントロールポイントのセットを組み合わせた複数の層に分解される。
レイヤ構造は、各ビデオ内のすべてのフレーム間で共有され、フレーム間の密接な接続を構築する。
論文 参考訳（メタデータ） (2022-11-25T18:59:46Z) - V3GAN: Decomposing Background, Foreground and Motion for Video
Generation [4.791233143264228]
本研究では,映像生成タスクを前景,背景,動きの合成に分解する手法を提案する。
前景と背景は共に外観を記述するが、動きは前景が時間とともに動画の中でどのように動くかを特定する。
本稿では,新しい3分岐生成対向ネットワークであるV3GANを提案する。
論文 参考訳（メタデータ） (2022-03-26T13:17:45Z) - Neural Human Video Rendering by Learning Dynamic Textures and
Rendering-to-Video Translation [99.64565200170897]
本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。
我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
論文 参考訳（メタデータ） (2020-01-14T18:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。