論文の概要: Bridging Simulation and Reality: Cross-Domain Transfer with Semantic 2D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2512.04731v1
- Date: Thu, 04 Dec 2025 12:16:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:40.126067
- Title: Bridging Simulation and Reality: Cross-Domain Transfer with Semantic 2D Gaussian Splatting
- Title(参考訳): ブリッジングシミュレーションと現実:セマンティック2次元ガウススプラッティングを用いたクロスドメイン転送
- Authors: Jian Tang, Pu Pang, Haowen Sun, Chengzhong Ma, Xingyu Chen, Hua Huang, Xuguang Lan,
- Abstract要約: ロボット操作におけるクロスドメイン転送は、シミュレートされた環境と実世界の環境の間に大きなドメインギャップがあるため、長年にわたる課題である。
本研究では,オブジェクト中心の領域不変空間特徴を抽出する新しい表現法であるSemantic 2D Gaussian Splatting (S2GS)を提案する。
S2GSはsim-to-real転送性を大幅に改善し、現実世界のシナリオで高安定なタスク性能を維持する。
- 参考スコア(独自算出の注目度): 60.513168855890974
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Cross-domain transfer in robotic manipulation remains a longstanding challenge due to the significant domain gap between simulated and real-world environments. Existing methods such as domain randomization, adaptation, and sim-real calibration often require extensive tuning or fail to generalize to unseen scenarios. To address this issue, we observe that if domain-invariant features are utilized during policy training in simulation, and the same features can be extracted and provided as the input to policy during real-world deployment, the domain gap can be effectively bridged, leading to significantly improved policy generalization. Accordingly, we propose Semantic 2D Gaussian Splatting (S2GS), a novel representation method that extracts object-centric, domain-invariant spatial features. S2GS constructs multi-view 2D semantic fields and projects them into a unified 3D space via feature-level Gaussian splatting. A semantic filtering mechanism removes irrelevant background content, ensuring clean and consistent inputs for policy learning. To evaluate the effectiveness of S2GS, we adopt Diffusion Policy as the downstream learning algorithm and conduct experiments in the ManiSkill simulation environment, followed by real-world deployment. Results demonstrate that S2GS significantly improves sim-to-real transferability, maintaining high and stable task performance in real-world scenarios.
- Abstract(参考訳): ロボット操作におけるクロスドメイン転送は、シミュレートされた環境と実世界の環境の間に大きなドメインギャップがあるため、長年にわたる課題である。
ドメインのランダム化、適応、sim-realキャリブレーションといった既存の手法は、広範囲のチューニングを必要とする場合や、目に見えないシナリオに一般化できない場合が多い。
この問題に対処するために、シミュレーションにおけるポリシトレーニング中にドメイン不変の特徴が活用され、同様の特徴を抽出し、実世界の展開中にポリシーへの入力として提供することができれば、ドメインギャップを効果的にブリッジすることができ、ポリシーの一般化が大幅に改善される。
そこで我々は,オブジェクト中心の領域不変空間特徴を抽出する新しい表現法であるSemantic 2D Gaussian Splatting (S2GS)を提案する。
S2GSは多視点2Dセマンティックフィールドを構築し、特徴レベルのガウススプラッティングを通してそれらを統一された3D空間に投影する。
セマンティックフィルタリング機構は、無関係な背景コンテンツを取り除き、ポリシー学習のためのクリーンで一貫した入力を保証する。
S2GSの有効性を評価するために、Diffusion Policyを下流学習アルゴリズムとして採用し、ManiSkillシミュレーション環境で実験を行い、続いて実世界展開を行う。
その結果,S2GSは実世界のシナリオにおいて,高いタスク性能と安定したタスク性能を保ちながら,シミュレート・トゥ・リアルトランスファービリティを著しく向上させることが示された。
関連論文リスト
- Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。
提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。
本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-26T11:53:59Z) - Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer [0.0]
我々は、Sim2Realギャップに対処するために、事前学習された視覚エンコーダの性能を評価する。
操作制限付きエンコーダは、常により高いアクションスコアを達成可能であることを示す。
論文 参考訳(メタデータ) (2025-01-26T00:27:04Z) - DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。
複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文 参考訳(メタデータ) (2024-11-18T05:49:16Z) - Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [22.077058792635313]
被覆経路計画は、制限された地域の自由空間全体をカバーする経路を見つける問題である。
本稿では,この課題に対する連続空間強化学習の有効性について検討する。
提案手法は従来のRLに基づく手法と高度に専門化された手法の両方の性能を上回ることを示す。
論文 参考訳(メタデータ) (2024-06-07T13:24:19Z) - Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation
with Conditional Alignment and Reweighting [72.75792823726479]
条件整合と再重み付けによる条件付きドメイン翻訳(CARE)を提案する。
本稿では,提案アルゴリズムの解析的正当性を示し,標準ベンチマーク上での競合手法よりも強い利得を示す。
論文 参考訳(メタデータ) (2023-02-09T18:39:28Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳(メタデータ) (2022-12-14T15:54:15Z) - Data-efficient Domain Randomization with Bayesian Optimization [34.854609756970305]
ロボット制御のためのポリシーを学ぶとき、必要となる現実世界のデータは通常、入手するのに極めて高価である。
BayRnはブラックボックスのsim-to-realアルゴリズムであり、ドメインパラメータ分布を適応させることでタスクを効率的に解く。
以上の結果から,BayRnは,必要となる事前知識を著しく低減しつつ,シム・トゥ・リアル・トランスファーを行うことが可能であることが示唆された。
論文 参考訳(メタデータ) (2020-03-05T07:48:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。