Fugu-MT 論文翻訳(概要): ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection

論文の概要: ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection

arxiv url: http://arxiv.org/abs/2601.18629v1
Date: Mon, 26 Jan 2026 16:04:12 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 08:17:40.952435
Title: ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection
Title（参考訳）: ExoGS: スケーラブルな操作データ収集のための4次元のリアルタイム・ツー・リアルフレームワーク
Authors: Yiming Wang, Ruogu Zhang, Minyang Li, Hao Shi, Junbo Wang, Deyi Li, Jieji Ren, Wenhai Liu, Weiming Wang, Hao-Shu Fang,
Abstract要約: ExoGSはロボットフリーの4D Real-to-Sim-to-Realフレームワークである。実世界の静的環境と動的相互作用の両方をキャプチャし、それらをシミュレートされた環境にシームレスに転送する。スケーラブルなデータ収集とポリシー学習のための新しいソリューションを提供する。
参考スコア（独自算出の注目度）: 27.18540416686717
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Real-to-Sim-to-Real technique is gaining increasing interest for robotic manipulation, as it can generate scalable data in simulation while having narrower sim-to-real gap. However, previous methods mainly focused on environment-level visual real-to-sim transfer, ignoring the transfer of interactions, which could be challenging and inefficient to obtain purely in simulation especially for contact-rich tasks. We propose ExoGS, a robot-free 4D Real-to-Sim-to-Real framework that captures both static environments and dynamic interactions in the real world and transfers them seamlessly to a simulated environment. It provides a new solution for scalable manipulation data collection and policy learning. ExoGS employs a self-designed robot-isomorphic passive exoskeleton AirExo-3 to capture kinematically consistent trajectories with millimeter-level accuracy and synchronized RGB observations during direct human demonstrations. The robot, objects, and environment are reconstructed as editable 3D Gaussian Splatting assets, enabling geometry-consistent replay and large-scale data augmentation. Additionally, a lightweight Mask Adapter injects instance-level semantics into the policy to enhance robustness under visual domain shifts. Real-world experiments demonstrate that ExoGS significantly improves data efficiency and policy generalization compared to teleoperation-based baselines. Code and hardware files have been released on https://github.com/zaixiabalala/ExoGS.
Abstract（参考訳）: シミュレーションにおいて、より狭いシミュレートとリアルのギャップを保ちながら、スケーラブルなデータを生成することができるため、ロボット操作への関心が高まっている。しかし、従来の手法は主に環境レベルのビジュアル・リアル・トゥ・シミュレートに重点を置いており、インタラクションの転送を無視しており、特にコンタクトリッチなタスクにおいて、シミュレーションにおいて純粋に得られることは困難で非効率である可能性がある。実世界における静的環境と動的相互作用の両方をキャプチャし,それらをシミュレーション環境へシームレスに転送する,ロボットフリーの4D Real-to-Sim-to-RealフレームワークであるExoGSを提案する。スケーラブルなデータ収集とポリシー学習のための新しいソリューションを提供する。 ExoGSは自設計のロボット同型受動エクソスケルトンAirExo-3を使用して、運動学的に一貫した軌道をミリレベルの精度で捉え、人間の直接のデモンストレーション中にRGB観測を同期させる。ロボット、オブジェクト、環境を編集可能な3Dガウススプラッティングアセットとして再構成し、ジオメトリ一貫性の再生と大規模データ拡張を可能にする。さらに、軽量なMask Adapterは、視覚的なドメインシフトの下で堅牢性を高めるために、インスタンスレベルのセマンティクスをポリシーに注入する。実世界の実験では、ExoGSは遠隔操作ベースのベースラインに比べてデータ効率とポリシーの一般化を著しく改善している。コードとハードウェアファイルはhttps://github.com/zaixiabalala/ExoGSで公開されている。

関連論文リスト

V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors [30.872127145725187]
V-Dreamerは、オープン語彙でシミュレーション可能な操作環境を生成する、完全に自動化されたフレームワークである。 V-Dreamerは、物理的に接地された3Dシーンを構成する新しい生成パイプラインを使用している。我々は,本ポリシーがシミュレーションにおいて未確認オブジェクトに対して堅牢に一般化し,効率的なsim-to-real転送を実現することを示す。
論文参考訳（メタデータ） (2026-03-19T12:00:04Z)
D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-03-01T15:32:04Z)
ReaDy-Go: Real-to-Sim Dynamic 3D Gaussian Splatting Simulation for Environment-Specific Visual Navigation with Moving Obstacles [18.27305975041577]
本研究では,ターゲット環境における動的シナリオを合成するシミュレーションパイプラインReaDy-Goを提案する。提案したシミュレータは、任意の視点から、アニマタブルなヒトGSアバターを用いた何千ものフォトリアリスティックナビゲーションシナリオを生成する。 ReaDy-Goはシミュレーションと実世界の両方の実験において、ターゲット環境のベースラインを上回っている。
論文参考訳（メタデータ） (2026-02-12T04:48:18Z)
Point Bridge: 3D Representations for Cross Domain Policy Learning [43.12724292342628]
Point Bridgeは統合されたドメインに依存しないポイントベース表現を利用するフレームワークである。人工データのみを使用して実世界の操作エージェントを訓練する。ゼロショットのsim-to-real転送で最大44%のアップを達成し、制限された実データで最大66%のアップを達成している。
論文参考訳（メタデータ） (2026-01-22T18:59:24Z)
Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
論文参考訳（メタデータ） (2025-11-06T18:52:08Z)
R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。 R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
論文参考訳（メタデータ） (2025-10-09T17:55:44Z)
RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文参考訳（メタデータ） (2025-06-28T05:03:31Z)
DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文参考訳（メタデータ） (2022-10-25T01:51:36Z)
Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。