論文の概要: GRASE: Geometry-native Real-to-sim Agentic Scene Modeling from Video
- arxiv url: http://arxiv.org/abs/2610.21498v1
- Date: Thu, 15 Oct 2026 08:34:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.012193
- Title: GRASE: Geometry-native Real-to-sim Agentic Scene Modeling from Video
- Title（参考訳）: GRASE:ビデオからの幾何学ネイティブなエージェントシーンモデリング
- Abstract要約: リアル・トゥ・シム変換は、キャプチャーされた実環境の映像を編集可能な3Dシーンに変換し、観察対象の形状とレイアウトを保存することを目的としている。
本稿では,キャプチャしたマルチビュー映像の観察をシーン・モデリング全体を通してスタンディング・リファレンスとして扱うエージェント・フレームワークであるGRASEについて述べる。
実験では、GRASEはGPT6-Astraを用いた直接実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
- 参考スコア（独自算出の注目度）: 4.4178417023288885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-to-sim conversion aims to turn a captured video of a real environment into an editable 3D scene while preserving the geometry and layout of what was observed. Existing methods often follow a one-pass, loosely coupled paradigm: each stage receives only limited feedback from previous stages, allowing errors to propagate without reliable correction and leaving the final scene inconsistent. We present GRASE, an agentic framework that closes this loop by treating the captured multi-view video observations as a standing reference throughout scene modeling. Instead of committing to intermediate estimates, GRASE revises its current hypothesis whenever rendered evidence disagrees with the capture, overcoming the fixed intermediate assumptions of conventional pipelines. Specifically, GRASE first fits the architectural shell and its openings from depth and multi-view cues. An agent then places generated assets in a shared coordinate frame while checking their spatial relationships. Finally, each asset's geometry and placement are refined iteratively to improve agreement across the observed views. By coupling these steps through feedback, GRASE localizes structural discrepancies and revises only the responsible components, while preserving cross-view consistency. The resulting 3D scenes are faithful to the input, consistent across views, and suitable for simulations. In our experiments, GRASE substantially outperforms other state-of-the-art methods, including a direct real-to-sim conversion using GPT6-Astra.
- Abstract（参考訳）: リアル・トゥ・シム変換は、キャプチャーされた実環境の映像を編集可能な3Dシーンに変換し、観察対象の形状とレイアウトを保存することを目的としている。
既存の手法は、しばしば1パスで疎結合なパラダイムに従う: 各段階は前の段階からの限られたフィードバックしか受け取らず、エラーは信頼性のある修正なしに伝播し、最終的なシーンは矛盾する。
本稿では,このループを閉鎖するエージェント・フレームワークであるGRASEについて述べる。
GRASEは中間推定にコミットする代わりに、従来のパイプラインの固定された中間仮定を克服し、証拠を提示するたびに現在の仮説を改訂する。
具体的には、GRASEはまずアーキテクチャシェルとその奥行きと多視点からの開口部に適合する。
その後、エージェントは生成された資産を共有座標フレームに配置し、空間的関係をチェックします。
最後に、各資産の幾何と配置を反復的に洗練し、観察された視点間での合意を改善する。
これらのステップをフィードバックを通じて結合することで、GRASEは構造上の相違をローカライズし、責任あるコンポーネントのみを改訂し、ビュー間の一貫性を保つ。
結果の3Dシーンはインプットに忠実であり、ビュー間で一貫性があり、シミュレーションに適している。
実験では、GRASEはGPT6-Astraを用いた直接実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
関連論文リスト
- GRAFT: Geometric Refinement and Fitting Transformer for Human Scene Reconstruction [32.688160754014284]
GRAFT(Geometric Refinement And Fitting Transformer)は、干渉勾配を予測するための学習されたHSIである。
ライトウェイトトランスフォーマーは、人間のメッシュをリカレントに更新し、シーンを再検証し、最終的なポーズが学習前のものと観察された幾何学の両方に一致することを保証する。
実験により、GRAFTは最先端のフィードフォワード法よりも最大113%のインタラクション品質を改善することが示された。
論文 参考訳（メタデータ） (2026-04-21T16:13:15Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳（メタデータ） (2026-04-19T21:21:11Z) - SceneExpander: Expanding 3D Scenes with Free-Form Inserted Views [69.08965991211704]
ユーザ中心のワークフローにおける3Dシーンの拡大について検討する。
固定シーンにおける単純なオブジェクト編集やスタイル転送とは異なり、挿入されたビューは元の再構築と3Dミスアライメントされることが多い。
パラメトリックフィードフォワード3D再構成モデルにテスト時間適応を適用したSceneExpanderを提案する。
論文 参考訳（メタデータ） (2026-03-28T02:04:48Z) - Geo-ID: Test-Time Geometric Consensus for Cross-View Consistent Intrinsics [37.614964138575935]
内在的な画像分解は、画像からアルベド、粗さ、および金属性などの物理ベースのレンダリングパラメータを推定することを目的としている。
ビデオベースのモデルは、クロスフレームの一貫性を改善することができるが、高密度で順序付けられたシーケンスと相当な計算を必要とする。
クロスビュー一貫した分解を生成するために,未学習の単視点予測器を本質的に再利用する新しいテストタイムフレームワークであるGeo-IDを提案する。
論文 参考訳（メタデータ） (2026-03-14T09:36:27Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-02T02:22:20Z) - G4Splat: Geometry-Guided Gaussian Splatting with Generative Prior [53.762256749551284]
我々は,3次元シーン再構成を効果的に活用するための基本的な前提条件として,正確な幾何学を同定する。
生成パイプライン全体にこの幾何学的ガイダンスを導入し、可視性マスク推定を改善し、新しいビュー選択をガイドし、ビデオ拡散モデルに着色した場合の多視点一貫性を向上させる。
本手法は,屋内および屋外の両方のシナリオにおいて,高い一般化性を有するシングルビュー入力とアンポーズ映像を自然にサポートする。
論文 参考訳（メタデータ） (2025-10-14T03:06:28Z) - IGFuse: Interactive 3D Gaussian Scene Reconstruction via Multi-Scans Fusion [15.837932667195037]
IGFuseは対話型ガウスシーンを複数のスキャンから観測することで再構成する新しいフレームワークである。
本手法は,ガウス場を意識したセグメンテーションを構築し,スキャン間の双方向光度・セマンティック一貫性を実現する。
IGFuseは、密度の高い観測や複雑なパイプラインを使わずに、高忠実なレンダリングとオブジェクトレベルのシーン操作を可能にする。
論文 参考訳（メタデータ） (2025-08-18T17:59:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。