論文の概要: Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots

• arxiv url: http://arxiv.org/abs/2509.02530v1
• Date: Tue, 02 Sep 2025 17:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.125872
• Title: Manipulation as in Simulation: Enabling Accurate Geometry Perception in Robots
• Title（参考訳）: シミュレーションによるマニピュレーション:ロボットの正確な幾何学的知覚の解明
• Authors: Minghuan Liu, Zhengbang Zhu, Xiaoshen Han, Peng Hu, Haotong Lin, Xinyao Li, Jingxiao Chen, Jiafeng Xu, Yichu Yang, Yunfeng Lin, Xinghang Li, Yong Yu, Weinan Zhang, Tao Kong, Bingyi Kang,
• Abstract要約: カメラ深度モデル (CDMs) は日用深度カメラの単純なプラグインである。 我々は,ディープカメラのノイズパターンをモデル化することにより,シミュレーションから高品質なペアデータを生成するニューラルデータエンジンを開発した。 私たちの実験では、ノイズや現実世界の微調整を必要とせず、生のシミュレートされた深さで訓練されたポリシーが、現実のロボットにシームレスに一般化されることを初めて実証しました。
• 参考スコア（独自算出の注目度）: 55.43376513158555
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern robotic manipulation primarily relies on visual observations in a 2D color space for skill learning but suffers from poor generalization. In contrast, humans, living in a 3D world, depend more on physical properties-such as distance, size, and shape-than on texture when interacting with objects. Since such 3D geometric information can be acquired from widely available depth cameras, it appears feasible to endow robots with similar perceptual capabilities. Our pilot study found that using depth cameras for manipulation is challenging, primarily due to their limited accuracy and susceptibility to various types of noise. In this work, we propose Camera Depth Models (CDMs) as a simple plugin on daily-use depth cameras, which take RGB images and raw depth signals as input and output denoised, accurate metric depth. To achieve this, we develop a neural data engine that generates high-quality paired data from simulation by modeling a depth camera's noise pattern. Our results show that CDMs achieve nearly simulation-level accuracy in depth prediction, effectively bridging the sim-to-real gap for manipulation tasks. Notably, our experiments demonstrate, for the first time, that a policy trained on raw simulated depth, without the need for adding noise or real-world fine-tuning, generalizes seamlessly to real-world robots on two challenging long-horizon tasks involving articulated, reflective, and slender objects, with little to no performance degradation. We hope our findings will inspire future research in utilizing simulation data and 3D information in general robot policies.
• Abstract（参考訳）: 現代のロボット操作は、主に2Dカラー空間における視覚的な観察をスキル学習に頼っているが、一般化に苦しむ。 対照的に、3Dの世界に住む人間は、物体と相互作用する際のテクスチャによって、距離、サイズ、形状など、物理的特性に依存する。 このような3D幾何学的情報は、広く利用可能な深度カメラから得ることができるため、同様の知覚能力を持つロボットを養うことは可能と思われる。 我々のパイロット研究は、ディープカメラを操作に利用することは、主に様々な種類のノイズに対する精度と感受性の制限により困難であることが判明した。 本研究では,RGB画像と生深度信号を入力・出力して正確な距離深度を求める,日用深度カメラの簡易プラグインとして,CDM(Camera Depth Models)を提案する。 そこで我々は,ディープカメラのノイズパターンをモデル化することにより,シミュレーションから高品質なペアデータを生成するニューラルデータエンジンを開発した。 以上の結果から,CDMは深度予測においてほぼシミュレーションレベルの精度を達成し,操作タスクのシム・トゥ・リアルギャップを効果的に橋渡しできることが示唆された。 実験では、音や現実世界の微調整を必要とせず、生の擬似深度で訓練されたポリシーが、音や反射、細かな物体を含む2つの挑戦的な長距離作業において、実世界のロボットにシームレスに一般化され、性能劣化はほとんど、あるいは全く起こらないことを初めて実証した。 ロボット政策におけるシミュレーションデータと3D情報の利用について,今後の研究に刺激を与えることを期待している。

関連論文リスト

• Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting [64.64738535860351]
  単一ビュー画像を包括的・スケール的・外観リアルな3D表現に変換するスケーラブルなパイプラインを提案する。 本手法は,画像の膨大な保存と空間的シーン理解への需要の増大とのギャップを埋めるものである。 画像から精度の高い3Dデータを自動的に生成することにより,データ収集コストを大幅に削減し,空間知性を向上するための新たな道を開く。
  論文  参考訳（メタデータ） (2025-07-24T14:53:26Z)
• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• ImageManip: Image-based Robotic Manipulation with Affordance-guided Next View Selection [10.162882793554191]
  ロボットが環境と対話するためには、3Dの関節による物体操作が不可欠である。 既存の多くの研究では、操作ポリシーの主要な入力として3Dポイントクラウドを使用している。 RGB画像は、コスト効率の良い装置を用いた高分解能な観察を提供するが、空間的3次元幾何学的情報は欠如している。 このフレームワークは、対象対象物の複数の視点を捉え、その幾何学を補完するために深度情報を推測するように設計されている。
  論文  参考訳（メタデータ） (2023-10-13T12:42:54Z)
• A Universal Semantic-Geometric Representation for Robotic Manipulation [42.18087956844491]
  本稿では,ロボット工学の汎用認識モジュールであるtextbfSemantic-Geometric Representation (textbfSGR) について述べる。 SGRは、大規模事前訓練された2次元モデルのリッチな意味情報を活用し、3次元空間推論の利点を継承する。 我々の実験は、SGRがエージェントに様々なシミュレーションおよび実世界のロボット操作タスクを完了させることを実証した。
  論文  参考訳（メタデータ） (2023-06-18T04:34:17Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Exploring the Capabilities and Limits of 3D Monocular Object Detection -- A Study on Simulation and Real World Data [0.0]
  単眼カメラデータに基づく3次元物体検出が自動運転の鍵となる。 近年のディープラーニング手法は, 単一の画像から深度情報を復元する有望な結果を示す。 本稿では,深度推定の異なるパラメータ化が可能な3次元物体検出パイプラインの性能評価を行う。
  論文  参考訳（メタデータ） (2020-05-15T09:05:17Z)
• CRAVES: Controlling Robotic Arm with a Vision-based Economic System [96.56564257199474]
  現実のタスクを達成するためにロボットアームを訓練することは、アカデミックと産業の両方で注目を集めている。 本研究は,この分野におけるコンピュータビジョンアルゴリズムの役割について論じる。 本稿では,3次元モデルを用いて大量の合成データを生成する方法を提案する。
  論文  参考訳（メタデータ） (2018-12-03T13:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。