論文の概要: TwinAligner: Visual-Dynamic Alignment Empowers Physics-aware Real2Sim2Real for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2512.19390v1
- Date: Mon, 22 Dec 2025 13:38:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.773157
- Title: TwinAligner: Visual-Dynamic Alignment Empowers Physics-aware Real2Sim2Real for Robotic Manipulation
- Title（参考訳）: TwinAligner: ロボット操作のための物理を意識したReal2Sim2Real
- Authors: Hongwei Fan, Hang Dai, Jiyao Zhang, Jinzhou Li, Qiyang Yan, Yujie Zhao, Mingju Gao, Jinghang Wu, Hao Tang, Hao Dong,
- Abstract要約: 本稿では,視覚的ギャップと動的ギャップに対処する新しいReal2Sim2RealシステムであるTwinAlignerを紹介する。
ビジュアルアライメントモジュールは、SDF再構成と編集可能な3DGSレンダリングによってピクセルレベルのアライメントを実現する。
動的アライメントモジュールは、ロボットと物体の相互作用から剛体物理学を識別することで整合性を確保する。
- 参考スコア（独自算出の注目度）: 24.782400753476068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The robotics field is evolving towards data-driven, end-to-end learning, inspired by multimodal large models. However, reliance on expensive real-world data limits progress. Simulators offer cost-effective alternatives, but the gap between simulation and reality challenges effective policy transfer. This paper introduces TwinAligner, a novel Real2Sim2Real system that addresses both visual and dynamic gaps. The visual alignment module achieves pixel-level alignment through SDF reconstruction and editable 3DGS rendering, while the dynamic alignment module ensures dynamic consistency by identifying rigid physics from robot-object interaction. TwinAligner improves robot learning by providing scalable data collection and establishing a trustworthy iterative cycle, accelerating algorithm development. Quantitative evaluations highlight TwinAligner's strong capabilities in visual and dynamic real-to-sim alignment. This system enables policies trained in simulation to achieve strong zero-shot generalization to the real world. The high consistency between real-world and simulated policy performance underscores TwinAligner's potential to advance scalable robot learning. Code and data will be released on https://twin-aligner.github.io
- Abstract（参考訳）: ロボット分野は、マルチモーダルな大規模モデルにインスパイアされた、データ駆動のエンドツーエンド学習へと進化している。
しかし、高価な現実世界のデータへの依存は進歩を制限する。
シミュレーターは費用対効果のある代替手段を提供するが、シミュレーションと現実のギャップは効果的な政策伝達に挑戦する。
本稿では,視覚的ギャップと動的ギャップに対処する新しいReal2Sim2RealシステムであるTwinAlignerを紹介する。
視覚アライメントモジュールは、SDF再構成と編集可能な3DGSレンダリングによってピクセルレベルのアライメントを実現し、ダイナミックアライメントモジュールは、ロボットとオブジェクトの相互作用から剛体物理学を識別することで動的アライメントを保証する。
TwinAlignerは、スケーラブルなデータ収集を提供し、信頼できる反復サイクルを確立し、アルゴリズム開発を加速することで、ロボット学習を改善する。
定量的評価は、視覚的および動的リアルタイムアライメントにおけるTwinAlignerの強い能力を強調している。
このシステムにより、シミュレーションで訓練されたポリシーは、実世界への強力なゼロショット一般化を実現することができる。
実世界とシミュレートされたポリシーパフォーマンスの間の高い一貫性は、TwinAlignerがスケーラブルなロボット学習を前進させる可能性を示している。
コードとデータはhttps://twin-aligner.github.ioで公開される。
関連論文リスト
- Real-to-Sim Robot Policy Evaluation with Gaussian Splatting Simulation of Soft-Body Interactions [27.247431258140463]
本稿では,現実の映像からソフトボディのディジタルツインを構築するための,リアル・トゥ・シミュレート・ポリシー評価フレームワークを提案する。
我々は,ぬいぐるみのパッキング,ロープルーティング,Tブロックプッシュなど,代表的な変形可能な操作タスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-11-06T18:52:08Z) - GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation [18.684526752120412]
GSWorldは、3Dガウススプラッティングと物理エンジンを組み合わせたロボット操作のための写真リアルシミュレータだ。
本フレームワークは,実ロボットデータから得られたポリシーを再現可能な評価で評価する操作ポリシーの「ループを閉じる」ことを提唱する。
論文 参考訳（メタデータ） (2025-10-23T17:59:26Z) - Dyna-Mind: Learning to Simulate from Experience for Better AI Agents [62.21219817256246]
私たちは、現在のAIエージェントは、行動する前に、別の未来を精神的にシミュレートする能力である「悪意ある試行錯誤」を必要としていると論じます。
我々は、(V)LMエージェントに対して、そのようなシミュレーションを推論に組み込むように明示的に教える2段階のトレーニングフレームワークであるDyna-Mindを紹介した。
論文 参考訳（メタデータ） (2025-10-10T17:30:18Z) - Video2Policy: Scaling up Manipulation Tasks in Simulation through Internet Videos [61.925837909969815]
我々は,インターネット上のRGBビデオを利用して日常の人間行動に基づいてタスクを再構築する新しいフレームワークであるVideo2Policyを紹介した。
本手法は投球のような複雑で困難なタスクを含む,そのようなタスクに対するRLポリシーのトレーニングに成功している。
生成したシミュレーションデータは,一般的なポリシをトレーニングするためにスケールアップ可能であり,Real2Sim2Real方式で実ロボットに転送可能であることを示す。
論文 参考訳（メタデータ） (2025-02-14T03:22:03Z) - Dynamics as Prompts: In-Context Learning for Sim-to-Real System Identifications [23.94013806312391]
そこで本研究では,テキスト内学習を用いてシミュレーション環境パラメータを動的に調整する手法を提案する。
オブジェクトスクーピングとテーブルエアホッケーという2つのタスクにまたがるアプローチを検証する。
提案手法は,ロボットの動的現実シナリオへの展開を推し進め,効率的かつスムーズなシステム識別を実現する。
論文 参考訳（メタデータ） (2024-10-27T07:13:38Z) - Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。
シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。
ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-10-09T19:42:22Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。