論文の概要: DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
- arxiv url: http://arxiv.org/abs/2609.23103v1
- Date: Sat, 19 Sep 2026 16:16:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.923007
- Title: DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
- Title(参考訳): DiagGen: ロボットシミュレーションのためのシミュレートを用いた変形性アセットのエージェント生成
- Abstract要約: DiagGenはエージェント的なフレームワークで、単一のファイル内イメージをシミュレーション可能な変形可能なアセットに変換する。
DiagGenは、部分認識幾何学と材料パラメータを構築し、VLMベースのエージェントを使用して意味的な情報的領域を選択する。
シミュレーション不可能な視覚基盤モデルから生成されたアセットと異なり、DiagGen生成のデフォルマブルを直接高忠実度物理シミュレータにドロップすることができる。
- 参考スコア(独自算出の注目度): 9.775743061791504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While simulation-ready deformable assets are essential for in-silico robotic manipulation tasks, existing generation frameworks typically assess physical plausibility after generation, leaving an object's simulated response unused as feedback for repairing upstream errors. We present DiagGen, an agentic framework that turns a single in-the-wild image into a simulation-ready deformable asset through a generate--simulate--diagnose--refine loop. DiagGen constructs part-aware geometry and material parameters, then uses a VLM (vision-language model)-based agent to select semantically informative regions, probe them in a physics simulator, observe material responses, and route evidence-backed repair cues to the responsible generation stage. Experiments on 40 assets show that diagnostics provides useful repair cues and can moderately improve the quality of generated deformable assets. Finally, we show that unlike assets generated from visual foundation models which may not be simulatable, DiagGen-generated deformables can be directly dropped into a high-fidelity physical simulator for the planning and simulation of contact-rich pick-and-place tasks. The project's website is https://diaggen.github.io/.
- Abstract(参考訳): シミュレーション可能な変形可能な資産は、シリコン内のロボット操作タスクには不可欠であるが、既存の生成フレームワークは通常、生成後の物理的妥当性を評価し、オブジェクトのシミュレートされた応答を上流のエラーを修復するためのフィードバックとして未使用のまま残している。
エージェントフレームワークであるDiagGenについて述べる。DiagGenは、単一のファイル内イメージを、生成-シミュレート--ダイグノーズ--リファインループを介して、シミュレーション可能な変形可能なアセットに変換する。
DiagGenは、部分認識幾何学と材料パラメータを構築し、VLMベースのエージェントを使用して、意味的な情報領域を選択し、物理シミュレーターでそれらを探索し、材料応答を観察し、エビデンスに支えられた修復手順を責任ある生成段階にルーティングする。
40の資産に関する実験は、診断が有用な修理方法を提供し、生成された変形可能な資産の品質を適度に改善できることを示している。
最後に,DiagGen 生成したデフォルマブルは,視覚基盤モデルから生成したアセットと異なり,高忠実度物理シミュレータへ直接ドロップして,コンタクトリッチなピック・アンド・プレイスタスクの計画とシミュレーションを行うことができることを示す。
プロジェクトのWebサイトはhttps://diaggen.github.io/。
関連論文リスト
- Coding Agent Is Good As World Simulator [5.161736405778465]
本稿では,物理に基づく世界モデル構築のためのエージェントフレームワークを提案する。
このフレームワークは、計画、コード生成、ビジュアルレビュー、物理分析エージェントを調整する。
実験の結果,本フレームワークは,物理精度,命令忠実度,視覚的品質において,高度な映像ベースモデルよりも優れていた。
論文 参考訳(メタデータ) (2026-05-14T05:33:41Z) - Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳(メタデータ) (2026-05-07T14:13:05Z) - Agentic Scientific Simulation: Execution-Grounded Model Construction and Reconstruction [0.0]
そこで本研究では,モデル構築をインタプリタ-アクト-バリデートループとして構成するエージェント科学シミュレーションについて検討する。
完全に微分可能なJuliaベースの貯水池シミュレータJutulDarcyをベースとした参照実装JutulGPTを提案する。
論文 参考訳(メタデータ) (2026-02-27T15:42:05Z) - DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer [62.18680935878919]
レンダリングを時間的に一貫した出力に変換するオンライン生成拡張フレームワークであるDiffusionHarmonizerを紹介した。
コアとなるのは、単一のGPU上でオンラインシミュレータで実行可能な、一段階の時間的条件付きエンハンサーである。
論文 参考訳(メタデータ) (2026-02-27T15:35:30Z) - SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。
本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。
得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
論文 参考訳(メタデータ) (2026-02-10T18:59:55Z) - SimuGen: Multi-modal Agentic Framework for Constructing Block Diagram-Based Simulation Models [1.0287010722745598]
SimuGenは視覚的なSimulinkダイアグラムとドメイン知識の両方を活用することで、正確なSimulinkシミュレーションコードを自動的に生成するフレームワークである。
ソースコードはhttps://github.com/renxinxing123/SimuGen_beta.comで公開されています。
論文 参考訳(メタデータ) (2025-05-28T00:35:43Z) - FactorSim: Generative Simulation via Factorized Representation [14.849320460718591]
本稿では,エージェントの訓練に使用できる言語入力から,コード中のフルシミュレーションを生成するFACTORSIMを提案する。
評価のために、我々は、強化学習環境におけるゼロショット転送を容易にするため、生成したシミュレーションコードの精度と有効性を評価できる生成シミュレーションベンチマークを導入する。
その結果、FACTORSIMは、即時アライメント(例えば、精度)、ゼロショット転送能力、人的評価に関するシミュレーションを生成する上で、既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-09-26T09:00:30Z) - RealGen: Retrieval Augmented Generation for Controllable Traffic Scenarios [58.62407014256686]
RealGenは、トラフィックシナリオ生成のための新しい検索ベースのコンテキスト内学習フレームワークである。
RealGenは、複数の検索されたサンプルの振る舞いを勾配のない方法で組み合わせることで、新しいシナリオを合成する。
このコンテキスト内学習フレームワークは、シナリオを編集する機能を含む多種多様な生成機能を提供する。
論文 参考訳(メタデータ) (2023-12-19T23:11:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。