論文の概要: ReaDy-Go: Real-to-Sim Dynamic 3D Gaussian Splatting Simulation for Environment-Specific Visual Navigation with Moving Obstacles
- arxiv url: http://arxiv.org/abs/2602.11575v2
- Date: Sat, 14 Feb 2026 15:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:27.736692
- Title: ReaDy-Go: Real-to-Sim Dynamic 3D Gaussian Splatting Simulation for Environment-Specific Visual Navigation with Moving Obstacles
- Title(参考訳): ReaDy-Go: 移動障害物を用いた環境特異的視覚ナビゲーションのための実次元動的3次元ガウス散乱シミュレーション
- Abstract要約: 本研究では,ターゲット環境における動的シナリオを合成するシミュレーションパイプラインReaDy-Goを提案する。
提案したシミュレータは、任意の視点から、アニマタブルなヒトGSアバターを用いた何千ものフォトリアリスティックナビゲーションシナリオを生成する。
ReaDy-Goはシミュレーションと実世界の両方の実験において、ターゲット環境のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 18.27305975041577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual navigation models often struggle in real-world dynamic environments due to limited robustness to the sim-to-real gap and the difficulty of training policies tailored to target deployment environments (e.g., households, restaurants, and factories). Although real-to-sim navigation simulation using 3D Gaussian Splatting (GS) can mitigate these challenges, prior GS-based works have considered only static scenes or non-photorealistic human obstacles built from simulator assets, despite the importance of safe navigation in dynamic environments. To address these issues, we propose ReaDy-Go, a novel real-to-sim simulation pipeline that synthesizes photorealistic dynamic scenarios in target environments by augmenting a reconstructed static GS scene with dynamic human GS obstacles, and trains navigation policies using the generated datasets. The pipeline provides three key contributions: (1) a dynamic GS simulator that integrates static scene GS with a human animation module, enabling the insertion of animatable human GS avatars and the synthesis of plausible human motions from 2D trajectories, (2) a navigation dataset generation framework that leverages the simulator along with a robot expert planner designed for dynamic GS representations and a human planner, and (3) robust navigation policies to both the sim-to-real gap and moving obstacles. The proposed simulator generates thousands of photorealistic navigation scenarios with animatable human GS avatars from arbitrary viewpoints. ReaDy-Go outperforms baselines across target environments in both simulation and real-world experiments, demonstrating improved navigation performance even after sim-to-real transfer and in the presence of moving obstacles. Moreover, zero-shot sim-to-real deployment in an unseen environment indicates its generalization potential. Project page: https://syeon-yoo.github.io/ready-go-site/.
- Abstract(参考訳): ビジュアルナビゲーションモデルは、シム・トゥ・リアルのギャップに対するロバスト性や、配置環境(世帯、レストラン、工場など)をターゲットにしたトレーニングポリシーの難しさにより、現実の動的環境に苦しむことが多い。
3D Gaussian Splatting (GS) を用いたリアルタイムナビゲーションシミュレーションはこれらの課題を軽減することができるが、従来のGSベースの研究は、動的環境における安全なナビゲーションの重要性にもかかわらず、シミュレーター資産から構築された静的シーンや非フォトリアリスティックな人間の障害物のみを考慮してきた。
これらの問題に対処するために、ReaDy-Goを提案する。ReaDy-Goは、再構成された静的GSシーンを人間のGS障害物で拡張し、生成したデータセットを用いてナビゲーションポリシーを訓練することにより、ターゲット環境における光現実的な動的シナリオを合成する新しいシミュレーションパイプラインである。
このパイプラインは,(1)静的シーンGSを人間のアニメーションモジュールと統合し,アニマタブルなヒトGSアバターの挿入と2次元軌跡からの可塑性な人間の動きの合成を可能にする動的GSシミュレータ,(2)動的GS表現と人間プランナー用に設計されたロボット専門家プランナーとともにシミュレータを利用するナビゲーションデータセット生成フレームワーク,(3)シミュレートと現実のギャップと移動障害の両方に対する堅牢なナビゲーションポリシーを提供する。
提案するシミュレータは、任意の視点から、アニマタブルなヒトGSアバターを用いた何千ものフォトリアリスティックナビゲーションシナリオを生成する。
ReaDy-Goはシミュレーションと実世界の実験の両方において、ターゲット環境のベースラインよりも優れており、シミュレート・トゥ・リアル・トランスファー後のナビゲーション性能の向上と、移動障害物の存在下でのナビゲーション性能の向上を実証している。
さらに、目に見えない環境でのゼロショットsim-to-realデプロイメントは、その一般化可能性を示している。
プロジェクトページ:https://syeon-yoo.github.io/ready-go-site/。
関連論文リスト
- Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator [70.34667754804168]
Embodied Navigationは、マルチモーダルな目標を解釈し、3D空間を推論し、現実の世界で確実に目的地に到達するエージェントを構築することを目的としている。
本稿では,RGB-D画像シーケンスから高品質な対話環境を構築するリアルタイムニューラルネットワークフレームワークであるImage2Simを紹介する。
論文 参考訳(メタデータ) (2026-07-07T02:42:41Z) - Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。
textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
論文 参考訳(メタデータ) (2026-05-11T07:34:30Z) - GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning [55.272458304179025]
GS-Playgroundは、エンド・ツー・エンドの知覚学習を促進するために設計されたマルチモーダル・シミュレーション・フレームワークである。
このシステムは640x480の解像度で104 FPSのスループットを達成し、大規模な視覚的RLの障壁を著しく低減する。
論文 参考訳(メタデータ) (2026-04-28T10:05:39Z) - Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting [83.60803397468139]
Habitat-GSはナビゲーション中心のAIシミュレータで、3Dフォトリアリスティックなシーンレンダリングとドライビング可能なガウスアバターを統合している。
動的人体モデリングでは、ガウスアバターモジュールを導入し、それぞれのアバターを光現実的な視覚的実体と効果的なナビゲーション障害物として同時に機能させることができる。
論文 参考訳(メタデータ) (2026-04-14T11:52:59Z) - HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions [69.43316445143408]
HSImul3Rはヒトとシーンの相互作用をシミュレーション可能な3次元再構成のための統合フレームワークである。
既存の手法は知覚とシミュレーションのギャップに悩まされており、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながっている。
論文 参考訳(メタデータ) (2026-03-16T17:58:33Z) - ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection [27.18540416686717]
ExoGSはロボットフリーの4D Real-to-Sim-to-Realフレームワークである。
実世界の静的環境と動的相互作用の両方をキャプチャし、それらをシミュレートされた環境にシームレスに転送する。
スケーラブルなデータ収集とポリシー学習のための新しいソリューションを提供する。
論文 参考訳(メタデータ) (2026-01-26T16:04:12Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳(メタデータ) (2026-01-24T07:43:57Z) - Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer [59.02729900344616]
GPUを加速したフォトリアリスティックなシミュレーションは、ロボット学習のためのスケーラブルなデータ生成パスを開いた。
視覚に基づくヒューマノイドロコ操作のための教師-学生-ブートストラップ学習フレームワークを開発した。
これは、純粋なRGB知覚を用いた多様な調音ロコ操作が可能な初めてのヒューマノイド・シム・トゥ・リアル政策である。
論文 参考訳(メタデータ) (2025-11-30T20:07:13Z) - Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。
我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
論文 参考訳(メタデータ) (2025-11-06T18:52:08Z) - EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device [33.22697339175522]
Embodied AIは主に、トレーニングと評価のシミュレーションに頼っている。
シン・トゥ・リアル・トランスファーは依然として大きな課題だ。
EmbodiedSplatは、ポリシートレーニングをパーソナライズする新しいアプローチである。
論文 参考訳(メタデータ) (2025-09-22T07:22:31Z) - SceneDiffuser++: City-Scale Traffic Simulation via a Generative World Model [30.561378506172698]
SceneDiffuser++は、都市規模でA-to-Bシミュレーションを行うことができる単一損失関数に基づいて訓練された最初のエンドツーエンド生成世界モデルである。
本研究では,SceneDiffuser++の都市交通シミュレーション能力を実証し,その長大なシミュレーション条件下での優れたリアリズムについて検討する。
論文 参考訳(メタデータ) (2025-06-27T07:35:04Z) - VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-03T17:15:05Z) - Vid2Sim: Realistic and Interactive Simulation from Video for Urban Navigation [62.5805866419814]
Vid2Simは、ニューラル3Dシーンの再構築とシミュレーションのためのスケーラブルで費用効率のよいReal2simパイプラインを通じてsim2realギャップをブリッジする新しいフレームワークである。
実験により、Vid2Simはデジタル双生児と現実世界の都市ナビゲーションの性能を31.2%、成功率68.3%で大幅に改善することが示された。
論文 参考訳(メタデータ) (2025-01-12T03:01:15Z) - OmniRe: Omni Urban Scene Reconstruction [78.99262488964423]
OmniReはデバイス上でのログから動的現実シーンの高忠実なデジタルツインを作成するための総合システムである。
提案手法は3DGS上にシーングラフを構築し,様々な動的アクターをモデル化する標準空間内に複数のガウス表現を構築する。
論文 参考訳(メタデータ) (2024-08-29T17:56:33Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳(メタデータ) (2021-11-15T18:50:04Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳(メタデータ) (2021-01-16T23:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。