論文の概要: TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image
- arxiv url: http://arxiv.org/abs/2609.04911v2
- Date: Mon, 07 Sep 2026 04:56:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-09 14:43:42.028458
- Title: TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image
- Title(参考訳): TourPhysics: 単一画像からの探索と操作のための物理を世界モデルに持ち込む
- Abstract要約: TourPhysicsは、単一のイメージと宣言的な物理的な設定から得られるオンラインフレームワークである。
各動作について、シミュレータは、対応する観測が生成される前に、有限の物理およびカメラ軌道を計算する。
TourPhysicsは、評価されたベースラインよりも、所定のカメラとオブジェクトの軌跡に従う。
- 参考スコア(独自算出の注目度): 53.206752160427065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive visual world models must distinguish observation from physical intervention. Camera motion reveals new surfaces, whereas intervention changes object motion, contact, and deformation. Current video world models are largely driven by appearance priors and often lose physical or spatial consistency over long horizons. We present TourPhysics, an online framework initialized from a single image and a declarative physical configuration. TourPhysics extends PhysOmni, our ACM Multimedia 2026 work, from finite physics-grounded video synthesis to persistent exploration and manipulation. TourPhysics combines deterministic simulation with video generation while assigning separate roles to simulator state, geometric evidence, generator controls, and appearance memory. For each action, the simulator computes a finite physical and camera trajectory before the corresponding observation is generated. Accepted observations publish the terminal state and update the appearance memory and subsequent generator controls, while the committed state and simulator geometry remain fixed throughout synthesis and retry. We further separate the simulator geometry used for projection and visibility from the relative depth used to condition the generator. A reference-anchored memory retrieves accepted static appearance through geometric cross-view correspondence and incorporates it through a bounded residual that reverts to the native path when no valid correspondence exists. On simulator-defined camera tours and object manipulations, TourPhysics follows prescribed camera and object trajectories more closely than the evaluated baselines, preserves the input scene, and reduces appearance drift during long-horizon revisits.
- Abstract(参考訳): インタラクティブな視覚世界モデルは、観察と身体的介入を区別しなければならない。
カメラの動きは新しい表面を明らかにし、介入によって物体の動き、接触、変形が変化する。
現在のビデオワールドモデルは、主に外観の先行によって駆動され、長い地平線上で物理的または空間的な一貫性を失うことが多い。
一つの画像と宣言的物理構成から初期化したオンラインフレームワークであるTourPhysicsを紹介する。
TourPhysicsはPhysOmni(ACM Multimedia 2026)を拡張しています。
TourPhysicsは、決定論的シミュレーションとビデオ生成を組み合わせて、シミュレーション状態、幾何学的エビデンス、ジェネレータ制御、外見記憶に別々の役割を割り当てている。
各動作について、シミュレータは、対応する観測が生成される前に、有限の物理およびカメラ軌道を計算する。
受信された観測では端末の状態が公開され、外観記憶とその後のジェネレータ制御が更新されるが、コミットされた状態とシミュレーターの幾何は合成と再試行を通して固定されている。
さらに、プロジェクションと可視性に使用されるシミュレータ幾何を、ジェネレータの条件に使用する相対的な深さから分離する。
参照アンコールメモリは、幾何学的クロスビュー対応を通じて受け入れられた静的な外観を検索し、有効な対応が存在しない場合にネイティブパスに戻す有界残差を介して取り込む。
シミュレータで定義されたカメラツアーやオブジェクト操作では、TourPhysicsは、評価基準線よりも所定のカメラとオブジェクトの軌跡を追従し、入力シーンを保存し、ロングホライゾンリビジット時の外観のドリフトを低減する。
関連論文リスト
- GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models [66.77745044586173]
GAUGEは、数値シミュレータと生成ビデオワールドモデルがどのように現実の物理学から再現または逸脱するかを評価するための実世界の診断ベンチマークである。
一般化された軌道誤差を用いて14のタスクファミリー上でIsaac Sim,Genesis,Newtonをベンチマークし,5つの剛体タスクに対して6つのイメージ・ツー・ビデオモデルを評価する。
この結果から, 衝撃的接触, 高速繊維運動, 体積変形に起因する最大の相違点を有する一様忠実な物理エンジンは見つからなかった。
論文 参考訳(メタデータ) (2026-08-06T12:19:38Z) - PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation [68.13035350819901]
PhysAgentは物理プログラム生成、物理シミュレーション、ステージ固有の検証、ターゲットプログラム修復のループを閉じるフレームワークである。
我々のフレームワークは、より物理的に妥当なビデオを生成し、より優れたプロンプトアライメントを実現し、多様な物理的シナリオにわたってより効果的に一般化する。
論文 参考訳(メタデータ) (2026-07-17T08:55:09Z) - SAM3D-Phys: Towards Multi-Object Interactive Simulation in Real World [42.46212677643043]
SAM3D-Physは、シーン再構成とSAM3Dの3D先行生成を統合し、物理的にシミュレート可能なオブジェクトを復元するフレームワークである。
完全なオブジェクト形状を復元し、シーン内のポーズと外観を復元することにより、SAM3D-Physは物理シミュレーションに適したクリーンなオブジェクト表現を生成する。
論文 参考訳(メタデータ) (2026-05-28T17:07:51Z) - TelePhysics: Physics-Grounded Multi-Object Scene Generation from a Single Image with Real-Time Interaction [51.01447538245441]
トレーニング不要なフレームワークであるTelePhysicsを提案する。
空間座標系で全シーンの幾何学を表現することで、TelePhysicsは物体の侵入とアライメントのあいまいさを解消する。
実験結果から,TelePhysicsは,物理忠実度,空間コヒーレンス,制御性において,従来手法よりも大幅に優れていたことがわかった。
論文 参考訳(メタデータ) (2026-05-19T08:16:44Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions [69.43316445143408]
HSImul3Rはヒトとシーンの相互作用をシミュレーション可能な3次元再構成のための統合フレームワークである。
既存の手法は知覚とシミュレーションのギャップに悩まされており、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながっている。
論文 参考訳(メタデータ) (2026-03-16T17:58:33Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳(メタデータ) (2026-03-14T16:23:44Z) - PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos [21.441062722848265]
PhysTwinは、対話中の動的オブジェクトのスパースビデオを使用して、写真と物理的にリアルでリアルタイムなインタラクティブなレプリカを生成する新しいフレームワークである。
提案手法は,(1)現実的な物理シミュレーションのためにバネ質量モデルを組み合わせた物理インフォームド表現,および幾何学のための生成形状モデル,およびレンダリングのためのガウススプラットである。
本手法は,視覚的知覚の手がかりと逆物理の枠組みを統合し,部分的,隠蔽的,限定的な視点からでも高忠実度復元を可能にする。
論文 参考訳(メタデータ) (2025-03-23T07:49:19Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-05-24T18:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。