論文の概要: Trans2Occ: Voxel Occupancy Estimation and Grasp for Transparent Objects from Simulation to Reality
- arxiv url: http://arxiv.org/abs/2606.01777v1
- Date: Mon, 01 Jun 2026 06:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.474857
- Title: Trans2Occ: Voxel Occupancy Estimation and Grasp for Transparent Objects from Simulation to Reality
- Title(参考訳): Trans2Occ: シミュレーションから現実への透明物体のボクセル占有率推定とグラフ
- Authors: Yixuan Yang, Sha Zhang, Rui Li, Zhenfei Yin, Xinzhu Ma, Yiran Qin, Lei Bai, Xudong Xu, Shilin Shan, Wangmeng Zuo, Yanyong Zhang, Wanli Ouyang, Feng Zheng, Shixiang Tang, Dongzhan Zhou,
- Abstract要約: 単一ビューRGB入力に基づく透明な物体認識と操作のためのフレームワークを提案する。
提案手法は,1つの画像から直接ボクセル空間の占有率を予測し,下流ロボットの把握を支援する幾何学的表現を提供する。
- 参考スコア(独自算出の注目度): 125.76063573012853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transparent objects remain challenging for robotic perception due to unreliable depth sensing caused by refraction and reflection. While prior approaches rely on multi-view reconstruction or depth completion, they are often difficult to scale or deploy in real-world robotic systems. In this paper, we present a practical framework for transparent object perception and manipulation based on single-view RGB input. Our approach predicts voxel-space occupancy directly from a single image, providing a geometry-aware representation that supports downstream robotic grasping. To enable large-scale training, we construct a simulation pipeline that generates paired RGB images and voxel occupancy annotations under diverse materials and lighting conditions. We demonstrate that the predicted occupancy representation is robust to domain shifts and transfers effectively from simulation to real-world robotic setups without fine-tuning. A simple rule-based grasping strategy built on top of the occupancy further achieves reliable grasp performance on transparent objects. Extensive experiments in both simulation and real-world environments show that our framework provides accurate 3D understanding and enables practical manipulation of transparent objects. These results suggest that single-view occupancy prediction offers a scalable and effective solution for transparent object perception in robotics.
- Abstract(参考訳): 透明な物体は、屈折や反射によって引き起こされる信頼性の低い深度感知のため、ロボットの知覚には依然として困難である。
従来のアプローチでは、マルチビューの再構築や深度補完に頼っていたが、現実のロボットシステムではスケールや展開が難しい場合が多い。
本稿では,一視点RGB入力に基づく透過的物体認識と操作のための実用的枠組みを提案する。
提案手法は,1つの画像から直接ボクセル空間の占有率を予測し,下流ロボットの把握を支援する幾何学的表現を提供する。
大規模トレーニングを実現するため,多種多様な材料や照明条件下でRGB画像とボクセル占有アノテーションを生成するシミュレーションパイプラインを構築した。
予測された占有率の表現はドメインシフトに対して堅牢であり,シミュレーションから実世界への移動を微調整なしで効果的に行うことが実証された。
占有上に構築された単純なルールベースの把握戦略により、透明物体に対する信頼性の高い把握性能が達成される。
シミュレーションと実環境の両方における大規模な実験により、我々のフレームワークは正確な3次元理解を提供し、透明物体の実用的な操作を可能にすることが示された。
これらの結果は、ロボット工学における透明な物体知覚のためのスケーラブルで効果的なソリューションとして、シングルビューの占有率予測が提供されることを示唆している。
関連論文リスト
- R2RGEN: Real-to-Real 3D Data Generation for Spatially Generalized Manipulation [74.41728218960465]
本稿では,実世界のデータを生成するために,ポイントクラウド観測-アクションペアを直接拡張するリアルタイム3Dデータ生成フレームワーク(R2RGen)を提案する。
R2RGenは、広範な実験におけるデータの効率を大幅に向上させ、モバイル操作におけるスケーリングと応用の強い可能性を示す。
論文 参考訳(メタデータ) (2025-10-09T17:55:44Z) - ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。
提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。
実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文 参考訳(メタデータ) (2024-09-13T15:44:38Z) - RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface
Normal Estimation and Manipulation [50.10282876199739]
本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。
RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。
現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
論文 参考訳(メタデータ) (2023-11-21T07:19:47Z) - Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。
本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
論文 参考訳(メタデータ) (2023-04-18T02:28:55Z) - SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic
Data via Stereo [4.317104502755003]
SimNetは、シミュレーションステレオデータを使用して、単一のマルチヘッドニューラルネットワークとして訓練されている。
SimNetは2次元車検出、未知の物体検出、変形可能な物体キーポイント検出で評価される。
OBBとキーポイント予測を用いて把握位置を推定することにより、未知のオブジェクトのエンドツーエンド操作を行うことができる。
論文 参考訳(メタデータ) (2021-06-30T15:18:14Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z) - Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。
現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。
本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
論文 参考訳(メタデータ) (2020-04-28T08:15:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。