論文の概要: EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device

• arxiv url: http://arxiv.org/abs/2509.17430v2
• Date: Tue, 23 Sep 2025 03:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 11:50:03.952189
• Title: EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device
• Title（参考訳）: EmbodiedSplat: モバイル端末からのガウス版による個人化された実物間ナビゲーション
• Authors: Gunjan Chhablani, Xiaomeng Ye, Muhammad Zubair Irshad, Zsolt Kira,
• Abstract要約: Embodied AIは主に、トレーニングと評価のシミュレーションに頼っている。 シン・トゥ・リアル・トランスファーは依然として大きな課題だ。 EmbodiedSplatは、ポリシートレーニングをパーソナライズする新しいアプローチである。
• 参考スコア（独自算出の注目度）: 33.22697339175522
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The field of Embodied AI predominantly relies on simulation for training and evaluation, often using either fully synthetic environments that lack photorealism or high-fidelity real-world reconstructions captured with expensive hardware. As a result, sim-to-real transfer remains a major challenge. In this paper, we introduce EmbodiedSplat, a novel approach that personalizes policy training by efficiently capturing the deployment environment and fine-tuning policies within the reconstructed scenes. Our method leverages 3D Gaussian Splatting (GS) and the Habitat-Sim simulator to bridge the gap between realistic scene capture and effective training environments. Using iPhone-captured deployment scenes, we reconstruct meshes via GS, enabling training in settings that closely approximate real-world conditions. We conduct a comprehensive analysis of training strategies, pre-training datasets, and mesh reconstruction techniques, evaluating their impact on sim-to-real predictivity in real-world scenarios. Experimental results demonstrate that agents fine-tuned with EmbodiedSplat outperform both zero-shot baselines pre-trained on large-scale real-world datasets (HM3D) and synthetically generated datasets (HSSD), achieving absolute success rate improvements of 20% and 40% on real-world Image Navigation task. Moreover, our approach yields a high sim-vs-real correlation (0.87-0.97) for the reconstructed meshes, underscoring its effectiveness in adapting policies to diverse environments with minimal effort. Project page: https://gchhablani.github.io/embodied-splat.
• Abstract（参考訳）: Embodied AIの分野は、トレーニングと評価のシミュレーションに大きく依存しており、しばしば、フォトリアリズムを欠いた完全な合成環境または高価なハードウェアでキャプチャされた高忠実な現実世界の再構築を使用する。 結果として、sim-to-real転送は依然として大きな課題である。 本稿では,構築シーン内の配置環境と微調整ポリシーを効率的に把握し,ポリシートレーニングをパーソナライズする新しいアプローチであるEmbodiedSplatを紹介する。 本手法は,現実的なシーンキャプチャと効果的なトレーニング環境のギャップを埋めるために,3次元ガウススティング(GS)とHabitat-Simシミュレータを利用する。 iPhoneをキャプチャした配置シーンを使用して、GSを介してメッシュを再構築し、現実世界の状況に近い設定でのトレーニングを可能にします。 我々は、トレーニング戦略、事前トレーニングデータセット、メッシュ再構築テクニックを総合的に分析し、実世界のシナリオにおけるシミュレーションから現実への予測性への影響を評価する。 EmbodiedSplatで調整されたエージェントは、大規模な実世界のデータセット(HM3D)と合成生成されたデータセット(HSSD)で事前訓練されたゼロショットベースラインよりも優れており、実世界のイメージナビゲーションタスクでは20%と40%の絶対的な成功率向上を実現している。 さらに,本手法は,再構成メッシュに対して高いsim-vs-real相関(0.87-0.97)を示し,最小限の努力で多様な環境へのポリシー適用の有効性を実証した。 プロジェクトページ: https://gchhablani.github.io/embodied-splat。

関連論文リスト

• Synthetic vs. Real Training Data for Visual Navigation [6.5298097830674635]
  本稿では、シミュレーションで訓練された視覚ナビゲーションポリシーの性能と実世界のデータで訓練されたポリシーとを比較検討する。 我々は,事前学習した視覚表現を活用し,ロボットハードウェア上でリアルタイムに動作させることにより,実物と実物とのギャップを埋めるナビゲーションポリシーアーキテクチャを用いる。 本研究は, 実データを用いたトレーニングよりも, 実データによるトレーニングを模擬する上で, 現場学習を重要視する上で, 多様な画像エンコーダの事前学習の重要性を強調した。
  論文  参考訳（メタデータ） (2025-09-15T11:22:40Z)
• Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin [8.498460043101499]
  我々は、シミュレーションを行動クローニングパイプラインに統合するための新しいアプローチである、Real-is-simを導入する。 デプロイ前にポリシーを安全にテストする機能がない実際のメソッドや、sim-to-realメソッドとは対照的に、sim-to-realギャップを横断するために複雑な適応を必要とするsim-to-realメソッドがある。 当社のフレームワークでは,実際のハードウェア上での動作と,並列化された仮想環境での動作とをシームレスに切り替えることが可能です。
  論文  参考訳（メタデータ） (2025-04-04T17:05:56Z)
• VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
  本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:15:05Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。