論文の概要: PhySGA: A Physics-Space Grounded Agentic Framework for Generalizable and Interactive 3D Composition
- arxiv url: http://arxiv.org/abs/2610.20560v1
- Date: Wed, 14 Oct 2026 17:47:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.28633
- Title: PhySGA: A Physics-Space Grounded Agentic Framework for Generalizable and Interactive 3D Composition
- Title（参考訳）: PhySGA: 一般化可能な対話型3D合成のための物理空間接地エージェントフレームワーク
- Abstract要約: 3Dオブジェクトの合成は、デジタルコンテンツ作成とロボットシミュレーションに欠かせない。
従来の手法では、オブジェクトの座標を直接予測するために大きな言語モデルを利用するか、生成前の拡散を利用して合成画像の視覚的アライメントを合成する。
エージェント探索と物理シミュレーションによる3次元合成のための物理空間接地エージェントフレームワークPhySGAを提案する。
- 参考スコア（独自算出の注目度）: 27.395598940656683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D object composition is pivotal to digital content creation and robot simulation, while also serving as a critical testbed for physical intelligence in foundation models. Previous methods either leverage large language models to directly predict object coordinates, or utilize generative diffusion priors to synthesize composite images for visual alignment, both of which rely on static priors in digital spaces. However, these methods consistently struggle with complex compositions such as precise hanging, gravity-driven settling and hidden containment, as these tasks require interactive construction processes involving global planning, fine-grained alignment, and physical simulation. To address these challenges, we propose PhySGA, a Physics-Space Grounded Agentic Framework for 3D composition via agent exploration and physical simulation, enabling the universal interactive assembly of rigid, articulated, and deformable objects. Directly applying vanilla LLMs or VLMs to this task proves insufficient, as current models inherently lack grounded physical understanding and interactive construction experience. To overcome this limitation, we design a collaborative feedforward-feedback architecture: an Assembly Agent focuses on geometric and kinematic reasoning for global step planning and coarse adjustment, while a Critic Agent reasons over contact dynamics for simulator state diagnosis and fine-grained closed-loop correction. Furthermore, Action Routers map semantic planning and analysis onto executable physical primitives within the simulator, while a task-specific Self-Evolving Skill Library distills historical trial-and-error feedback into reusable experiences, boosting success rates and minimizing exploration attempts. Extensive experiments within Isaac Sim demonstrate that PhySGA significantly surpasses existing methods in relation fidelity, physical plausibility, and visual quality.
- Abstract（参考訳）: 3Dオブジェクトの合成は、デジタルコンテンツ作成とロボットシミュレーションに重要であり、基礎モデルの物理的インテリジェンスにとって重要なテストベッドとしても機能する。
従来の手法では、大きな言語モデルを用いてオブジェクト座標を直接予測したり、合成画像の視覚的アライメントを合成するために生成拡散先行を利用する。
しかしながら、これらの手法は、グローバルプランニング、きめ細かいアライメント、物理シミュレーションを含むインタラクティブな構築プロセスを必要とするため、正確な吊り下げ、重力駆動の沈降、隠れた封じ込めといった複雑な構成に一貫して苦労する。
これらの課題に対処するために,エージェント探索と物理シミュレーションによる3次元合成のための物理空間グラウンドドエージェントフレームワークであるPhySGAを提案する。
このタスクにバニラLLMやVLMを直接適用することは、現在のモデルでは基盤となる物理的理解と対話的な建設経験が欠如していることから、不十分であることが証明されている。
この制限を克服するために、我々は協調フィードフォワードフィードバックアーキテクチャを設計する: アセンブリエージェントは、グローバルステップ計画と粗い調整のための幾何学的および運動論的推論に焦点を当て、批判エージェントは、シミュレータの状態診断ときめ細かいクローズドループ補正のための接触ダイナミクスを理由としている。
さらに、アクションルータは、セマンティックな計画と分析をシミュレータ内の実行可能な物理的プリミティブにマッピングし、タスク固有の自己進化スキルライブラリは、過去の試行錯誤フィードバックを再利用可能なエクスペリエンスに蒸留し、成功率を高め、探索を最小化する。
アイザック・シムにおける大規模な実験では、PhySGAは関係の忠実さ、物理的妥当性、視覚的品質において既存の手法を大幅に上回っている。
関連論文リスト
- ManiSplat: Manipulation Trajectory Synthesis from Monocular Video via Decoupled 3D Gaussian Splatting [28.256286705954846]
現実の観察から動的でインタラクティブな3Dシーンを再構築することは、コンピュータビジョンとロボティクスの基本的な課題である。
ロボットビデオから直接ガウスのデジタル双生児を制御可能で分離する統合フレームワークであるManiSplatを紹介した。
提案手法は,対話駆動型動的シーンを高忠実度かつ制御性で再構築し,下流ロボットタスクとポリシー学習を効果的に支援する。
論文 参考訳（メタデータ） (2026-06-09T09:55:58Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳（メタデータ） (2026-03-14T16:23:44Z) - From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。
CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。
以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
論文 参考訳（メタデータ） (2026-02-24T15:33:02Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳（メタデータ） (2026-02-17T17:09:45Z) - PhyScensis: Physics-Augmented LLM Agents for Complex Physical Scene Arrangement [89.35154754765502]
PhyScensisは物理エンジンを動力とするエージェントベースのフレームワークで、物理的に可視なシーン構成を生成する。
本フレームワークは,微粒なテキスト記述や数値パラメータに対する強い制御性を保っている。
実験の結果,本手法はシーンの複雑さ,視覚的品質,身体的精度において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2026-02-16T17:55:25Z) - Real-to-Sim for Highly Cluttered Environments via Physics-Consistent Inter-Object Reasoning [11.05191602561784]
単一視点からの物理的に有効な3Dシーンの再構築は、視覚知覚とロボット制御のギャップを埋めるための前提条件である。
本稿では,物理制約付き実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
論文 参考訳（メタデータ） (2026-02-13T05:24:58Z) - Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects [59.51185639557874]
本稿では,任意のRGB画像やテキスト記述から直接音声オブジェクトを合成するフレームワークであるKinematifyを紹介する。
提案手法は, 高DoFオブジェクトに対する運動的トポロジの推測と静的幾何からの関節パラメータの推定という2つの課題に対処する。
論文 参考訳（メタデータ） (2025-11-03T07:21:42Z) - Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning [16.193477346643295]
Scan, Materialize, Simulate (SMS) は,正確なシーン再構成のための3次元ガウススプラッティング,セマンティックセグメンテーションのための視覚基盤モデル,物質特性推定のための視覚言語モデル,アクション結果の信頼性予測のための物理シミュレーションを組み合わせた統合フレームワークである。
本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。
論文 参考訳（メタデータ） (2025-05-20T21:55:01Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳（メタデータ） (2023-10-11T05:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。