論文の概要: TelePhysica: Agentic Reconstruction of Physically Interactive Scenes
- arxiv url: http://arxiv.org/abs/2611.18078v1
- Date: Fri, 13 Nov 2026 12:02:43 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:22.779488
- Title: TelePhysica: Agentic Reconstruction of Physically Interactive Scenes
- Title(参考訳): TelePhysica: 物理的インタラクティブなシーンのエージェント的再構成
- Abstract要約: 一つの写真から実行可能なマルチレジの物理世界を再構築するクローズドループフレームワークであるTelePhysicaを提案する。
視覚言語符号化エージェントは、2段階の検証ループ内で視覚メッシュと宣言的物理モデルを合成する。
100シーンのシングルイメージのベンチマークでは、クローズドループ実行は平衡検証された世界回復をシングルパス合成で0%から81%に引き上げる。
- 参考スコア(独自算出の注目度): 51.55445269006418
- License:
- Abstract: Direct image-to-video diffusion models entangle pixel synthesis with implicit latent motion, precluding persistent 3D mechanical equilibrium, mid-rollout intervention, and counterfactual force control. Conversely, single-pass programmatic 3D reconstruction from an uncalibrated photograph leaves monocular depth and support clearance underconstrained, causing reconstructed scenes to interpenetrate or collapse under gravity. We present TelePhysica, a closed-loop framework that reconstructs an executable, multi-regime physical world from a single photograph to drive stateful 3D interaction and trajectory-grounded video synthesis. A vision-language coding agent synthesizes separable visual meshes and declarative physical models within a two-stage verification loop that pairs pixel-aligned silhouette critique with a zero-force gravitational equilibrium preflight. The verified world compiles into a unified solver coupling rigid bodies, articulated chains, co-dimensional cloth shells, and 3D tetrahedral elastodynamics, whose simulated rollouts condition pretrained video diffusion models through pixel-aligned structural streams. On a 100-scene single-image benchmark, closed-loop execution raises equilibrium-verified world recovery from $0\%$ in single-pass synthesis to $81\%$. Controlled constitutive ablations show over an order-of-magnitude larger localized corner displacement and out-of-plane pleating in finite-element cloth than in matched rigid-plate proxies. Conditioning video diffusion on simulated trajectories increases dynamic motion-mask overlap by $2{\times}\text{--}5{\times}$ and preserves motion direction under counterfactual force reversals where direct image-to-video models fail.
- Abstract(参考訳): 画像とビデオの直接拡散モデルでは、暗黙の潜伏運動で画素合成を絡め、永続的な3次元力学的平衡、中間ロールアウト介入、反実力制御を含む。
逆に、未校正写真からのシングルパスのプログラムによる3D再構成は、単眼深度を保ち、クリアランスを抑え、再構成されたシーンは重力下で相互接続または崩壊する。
我々は,1枚の写真から実行可能なマルチレジの物理世界を再構築し,ステートフルな3Dインタラクションと路面ビデオ合成を実現するクローズドループフレームワークであるTelePhysicaを提案する。
視覚言語符号化エージェントは、2段階の検証ループ内で分離可能な視覚メッシュと宣言的物理モデルを合成する。
検証された世界は、剛体、整合鎖、共次元布殻、および3次元四面体エラストダイナミックスを結合した統一的なソルバ結合体にコンパイルされる。
100シーンのシングルイメージのベンチマークでは、クローズドループの実行は、平衡検証された世界回復をシングルパス合成の$0\%$から811\%$に引き上げる。
制御された構成的アブレーションは、整合された剛板プロキシよりも、有限要素布において局所的な角変位と面外プリーティングの順序が大きくなることを示す。
シミュレーショントラジェクトリ上での動画拡散の条件付けは,2{\times}\text{-}5{\times}$で動的モーションマスクのオーバーラップを増大させ,直接画像対ビデオモデルが失敗する反実的力反転の下で動きの方向を保存する。
関連論文リスト
- TransArt3D: From Two States to Articulated 3D Reconstruction with Video Transition Priors [6.061536470039638]
少数の画像から3次元運動場を再構成する再構成フレームワークであるTransArt3Dを提案する。
このフレームワークは、6つの観測対象と先行エンドポイント幾何が与えられた事前の手法を超越している。
論文 参考訳(メタデータ) (2026-11-08T11:03:36Z) - Learning to Correct Geometry in Generated Videos [52.88077815116697]
ウェブスケールのビデオコーパスでは、最も目に見える動きは静的または弱い動きのカメラで捉えたダイナミックな物体から来ている。
本稿では,合成対監督に基づく映像合成モデルであるVGC(Video Geometry Corrector)を提案する。
ポーズ条件付きおよびプロンプト駆動ベンチマークの実験は、VGCが複数のソースジェネレータ間の幾何的一貫性を改善することを示している。
論文 参考訳(メタデータ) (2026-10-16T17:59:55Z) - FlexComposer: Unified Video Compositing from Images to Dynamic Footage with Flexible Trajectory Control [26.208912960696622]
トラジェクティブ誘導条件生成タスクとしてビデオ合成を標準化する統合フレームワークを提案する。
提案手法では,(1)大域的変位から物体の内在的な動きを分離し,不均一な入力を安定,中心となる潜在空間に標準化する統一的フォアグラウンド表現,(2)VAE潜在空間の変換等価性を利用したパラメータフリー機構による目標軌道への変換を行う空間認識潜在射出法,(3)手続き的シミュレーション,実世界の映像映像の相乗化を行うハイブリッドデータセットと合成-Real Curriculum,の3つの重要な設計を紹介する。
論文 参考訳(メタデータ) (2026-07-31T16:59:46Z) - ManiSplat: Manipulation Trajectory Synthesis from Monocular Video via Decoupled 3D Gaussian Splatting [28.256286705954846]
現実の観察から動的でインタラクティブな3Dシーンを再構築することは、コンピュータビジョンとロボティクスの基本的な課題である。
ロボットビデオから直接ガウスのデジタル双生児を制御可能で分離する統合フレームワークであるManiSplatを紹介した。
提案手法は,対話駆動型動的シーンを高忠実度かつ制御性で再構築し,下流ロボットタスクとポリシー学習を効果的に支援する。
論文 参考訳(メタデータ) (2026-06-09T09:55:58Z) - TelePhysics: Physics-Grounded Multi-Object Scene Generation from a Single Image with Real-Time Interaction [51.01447538245441]
トレーニング不要なフレームワークであるTelePhysicsを提案する。
空間座標系で全シーンの幾何学を表現することで、TelePhysicsは物体の侵入とアライメントのあいまいさを解消する。
実験結果から,TelePhysicsは,物理忠実度,空間コヒーレンス,制御性において,従来手法よりも大幅に優れていたことがわかった。
論文 参考訳(メタデータ) (2026-05-19T08:16:44Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-12T10:02:23Z) - Articulat3D: Reconstructing Articulated Digital Twins From Monocular Videos with Geometric and Motion Constraints [21.83046776294786]
Articulat3Dは、カジュアルにキャプチャされたモノクロビデオからデジタルツインを構築する新しいフレームワークである。
まず,3次元の軌跡を利用して調音運動の低次元構造を利用する動き優先初期化を提案する。
次に、物理的に可算な調音を強制する幾何学的・運動的制約(Geometric and Motion Constraints Refinement)を導入する。
実験により、Articulat3Dは、合成ベンチマークと現実世界のカジュアルにキャプチャされたモノクロビデオで最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2026-03-12T06:59:44Z) - Motion Forcing: A Decoupled Framework for Robust Video Generation in Motion Dynamics [37.22501359080204]
ビデオ生成平衡の安定化を目的としたフレームワークである textbfMotion Forcing を導入する。
我々の重要な洞察は、視覚合成から物理的推論を明確に分離することである。
自動運転ベンチマークの実験によると、Motion Forcingは最先端のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-03-11T04:44:46Z) - Shape of Motion: 4D Reconstruction from a Single Video [42.42669078777769]
本稿では,世界座標フレーム内の3次元運動軌跡を明示的かつ永続的に特徴付ける,ジェネリックダイナミックシーンの再構築手法を提案する。
まず,コンパクトなSE(3)モーションベースでシーンの動きを表現することで,3次元動作の低次元構造を利用する。
第2に,単眼深度マップや長距離2Dトラックなどの既成データ駆動の先行データを利用して,これらのノイズを効果的に処理する方法を考案する。
論文 参考訳(メタデータ) (2024-07-18T17:59:08Z) - Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in
the Wild [49.672487902268706]
本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。
複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
論文 参考訳(メタデータ) (2020-07-24T23:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。