論文の概要: SceneAgent: An Agentic Pipeline from 3D and 4D Captures to Simulation Environments
- arxiv url: http://arxiv.org/abs/2610.34745v1
- Date: Mon, 26 Oct 2026 02:45:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.707678
- Title: SceneAgent: An Agentic Pipeline from 3D and 4D Captures to Simulation Environments
- Title（参考訳）: SceneAgent: 3Dおよび4Dキャプチャからシミュレーション環境へのエージェントパイプライン
- Abstract要約: SceneAgentはビジュアルキャプチャをインタラクティブなシミュレーション環境に変換する。
パイプラインは3D Gaussian Splatting (3DGS)、フォトグラム、LiDARキャプチャ、AI生成3DGSシーン、ダイナミックシーンの4Dビデオを処理する。
政策学習を支援するために、SceneAgentは多様なオブジェクトの変種(デジタル姉妹)とスクリプト化されたデモを生成する。
- 参考スコア（独自算出の注目度）: 4.953013310534909
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual captures provide detailed scene appearance, but converting them into interactive simulation environments requires object reconstruction, physical modeling, and correction of intermediate errors. We present SceneAgent, an agentic pipeline that coordinates these steps through simulator-based visual inspection and repair. The pipeline processes 3D Gaussian Splatting (3DGS), photogrammetry, LiDAR captures, AI-generated 3DGS scenes, and 4D videos of dynamic scenes, and combines object segmentation, physical parameter estimation, part decomposition, articulation, and deformable simulation. To support policy learning, SceneAgent generates diverse object variants ("digital sisters") and scripted demonstrations. On a cluttered bin scene from GraspClutter6D, SceneAgent raises F1 at 1 cm for every coding agent with scorable outputs both with and without its skills, and its reconstructions are better than SimFoundry: all agent configurations exceed SimFoundry's F1 score, with a best of 60.75% versus 6.9%. On three dynamic scenes from 4DCodeBench, SceneAgent raises the mean dynamic IoU of Gemini 4 Argon from 0.86% to 99.09%. We further demonstrate diverse simulated interactions and preliminary policy transfer to a real robot.
- Abstract（参考訳）: ビジュアルキャプチャーは、詳細なシーンの外観を提供するが、それらをインタラクティブなシミュレーション環境に変換するには、オブジェクトの再構成、物理モデリング、中間エラーの修正が必要である。
シミュレーションに基づく視覚検査と修復により,これらのステップを協調するエージェントパイプラインであるSceneAgentを提案する。
パイプラインは3D Gaussian Splatting (3DGS)、フォトグラム、LiDARキャプチャ、AI生成の3DGSシーン、動的シーンの4Dビデオを処理する。
政策学習を支援するために、SceneAgentは多様なオブジェクトの変種(デジタル姉妹)とスクリプト化されたデモを生成する。
GraspClutter6Dの散在したビンシーンでは、SceneAgentは、すべてのコーディングエージェントに対して、そのスキルと非スキルの両方で、スコーラブルな出力を持つ1cmでF1を上昇させ、その再構築はSimFoundryより優れている: すべてのエージェント構成がSimFoundryのF1スコアを超え、最高60.75%対6.9%である。
4DCodeBenchの3つのダイナミックシーンでは、SceneAgentはGemini 4 Argonの平均動的IoUを0.86%から99.09%に引き上げている。
さらに、実ロボットへの多様なシミュレートされた相互作用と事前ポリシーの伝達を実証する。
関連論文リスト
- SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images [15.857750498426888]
SceneRigは、単一の画像を編集可能でシミュレーション可能なシーンに変換するエージェントシステムだ。
これは、再構成されたシーンを物理的に安定させながら、インスタンスセグメンテーション、オブジェクト中心の外観、および3D配置を改善する。
SceneRigは、下流のロボティクスに有効だ。そのシーンは、ベースライン法よりも正確なロボットポリシーの結果を予測する。
論文 参考訳（メタデータ） (2026-10-20T17:39:42Z) - 4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes [55.189045318829294]
コード生成による4D逆グラフィックスのベンチマークである4DCodeBenchを紹介する。
本研究では, 変形, 流動, 破壊など多様な物理現象にまたがる合成シーンを構築した。
4DCodeBenchは、エージェントへの進捗を追跡するテストベッドを提供する。
論文 参考訳（メタデータ） (2026-10-02T17:58:49Z) - Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling [11.305288161442995]
構成可能なシーンモデリングは、実際の屋内シーンを、観察されたように配置された完全な編集可能なオブジェクトアセットとして復元することを目的としている。
Luciaはビデオをシーングラフに解析し、ノードはインスタンスごとのマルチビューのエビデンスを持っている。
Luciaは、マルチターンGUIインタラクションとして配置するVLMポリシーであるGizmoActで資産を配置する。
論文 参考訳（メタデータ） (2026-08-31T14:03:20Z) - Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents [42.18672329354181]
textitAgentic Real2Simは視覚言語エージェントを用いた物理世界モデリングのためのフレームワークである。
我々は,剛体オブジェクトの操作,変形性オブジェクトのインタラクション,ヒューマノイドモーションシーンにおけるエージェントReal2Simの評価を行った。
フレームワークのエージェント的決定は、フロンティアモデルのコストのごく一部で、オープンウェイトなVLMバックエンドによって駆動される。
論文 参考訳（メタデータ） (2026-07-21T15:23:38Z) - SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。
また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
論文 参考訳（メタデータ） (2026-07-02T06:29:18Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。
本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。
得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
論文 参考訳（メタデータ） (2026-02-10T18:59:55Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。
我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。
ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。