論文の概要: RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation

• arxiv url: http://arxiv.org/abs/2311.12398v2
• Date: Thu, 8 Feb 2024 01:44:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:01:10.860573
• Title: RFTrans: Leveraging Refractive Flow of Transparent Objects for Surface Normal Estimation and Manipulation
• Title（参考訳）: RFTrans:表面正規化とマニピュレーションのための透明物体の屈折流のレバレッジ
• Authors: Tutian Tang, Jiyu Liu, Jieyi Zhang, Haoyuan Fu, Wenqiang Xu, Cewu Lu
• Abstract要約: 本稿では、透明物体の表面正規化と操作のためのRGB-Dに基づくRFTransを提案する。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 現実のロボットがタスクをつかむと、成功率は83%となり、屈折流が直接シミュレートから現実への移動を可能にすることが証明される。
• 参考スコア（独自算出の注目度）: 50.10282876199739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transparent objects are widely used in our daily lives, making it important to teach robots to interact with them. However, it's not easy because the reflective and refractive effects can make depth cameras fail to give accurate geometry measurements. To solve this problem, this paper introduces RFTrans, an RGB-D-based method for surface normal estimation and manipulation of transparent objects. By leveraging refractive flow as an intermediate representation, the proposed method circumvents the drawbacks of directly predicting the geometry (e.g. surface normal) from images and helps bridge the sim-to-real gap. It integrates the RFNet, which predicts refractive flow, object mask, and boundaries, followed by the F2Net, which estimates surface normal from the refractive flow. To make manipulation possible, a global optimization module will take in the predictions, refine the raw depth, and construct the point cloud with normal. An off-the-shelf analytical grasp planning algorithm is followed to generate the grasp poses. We build a synthetic dataset with physically plausible ray-tracing rendering techniques to train the networks. Results show that the proposed method trained on the synthetic dataset can consistently outperform the baseline method in both synthetic and real-world benchmarks by a large margin. Finally, a real-world robot grasping task witnesses an 83% success rate, proving that refractive flow can help enable direct sim-to-real transfer. The code, data, and supplementary materials are available at https://rftrans.robotflow.ai.
• Abstract（参考訳）: 透明な物体は私たちの日常生活で広く使われており、ロボットに対話を教えることが重要である。 しかし、反射効果と屈折効果によって深度カメラが正確な幾何学的計測をできないため、簡単ではない。 そこで本研究では,RGB-D法に基づく透明物体の表面正規化と操作を行うRFTransを提案する。 中間表現として屈折流を利用することにより、画像から幾何学(例えば表面正規)を直接予測する欠点を回避し、sim-to-realギャップを橋渡しする。 RFNetは屈折流、物体マスク、境界を予測し、次いでF2Netは屈折流から表面の正常を推定する。 操作を可能にするために、グローバル最適化モジュールは予測を取り入れ、生の深さを洗練し、通常のポイントクラウドを構築する。 市販分析把持計画アルゴリズムを追従して把持ポーズを生成する。 ネットワークをトレーニングするために、物理的に可視なレイトレーシングレンダリング技術を用いた合成データセットを構築した。 その結果, 合成データセットを用いてトレーニングした手法は, 合成および実世界のベンチマークにおいて, ベースライン法を大きなマージンで一貫した性能を発揮することがわかった。 最後に、現実のロボットの把握タスクは83%の成功率を示し、屈折流が直接シミュレートから現実への移動を可能にすることを証明している。 コード、データ、補足資料はhttps://rftrans.robotflow.ai.comで入手できる。

関連論文リスト

• Aero-Nef: Neural Fields for Rapid Aircraft Aerodynamics Simulations [1.1932047172700866]
  本稿では,メッシュ領域上での定常流体力学シミュレーションの代理モデルを学習する手法を提案する。 提案したモデルは, 異なる流れ条件に対して非構造領域に直接適用することができる。 顕著なことに、RANS超音速翼データセット上の高忠実度解法よりも5桁高速な推論を行うことができる。
  論文  参考訳（メタデータ） (2024-07-29T11:48:44Z)
• Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
  本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。 従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。 当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
  論文  参考訳（メタデータ） (2024-05-23T14:39:52Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• NeuralGF: Unsupervised Point Normal Estimation by Learning Neural Gradient Function [55.86697795177619]
  3次元点雲の正規推定は3次元幾何処理の基本的な課題である。 我々は,ニューラルネットワークが入力点雲に適合することを奨励する,ニューラルグラデーション関数の学習のための新しいパラダイムを導入する。 広範に使用されているベンチマークの優れた結果から,本手法は非指向性および指向性正常推定タスクにおいて,より正確な正規性を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-01T09:25:29Z)
• NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields [23.099784003061618]
  ニューラル放射場(NeRF)に屈折反射場を導入する NeRFは直線線を使用し、屈折や反射によって引き起こされる複雑な光路の変化に対処できない。 本稿では,効果的かつ効果的なアンチエイリアスを実現するための仮想コーンスーパーサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-22T17:59:12Z)
• TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches [23.87056600709768]
  本研究では,触覚フィードバックを持つ探索システムを用いて,疎深度ラベルを自動収集したステレオネットワークを微調整する手法を提案する。 提案手法は,特に透明物体に対して,現実世界の深度検出精度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-09-18T01:55:17Z)
• TransCG: A Large-Scale Real-World Dataset for Transparent Object Depth Completion and Grasping [46.6058840385155]
  我々は、透明な物体深度を補完する大規模な実世界のデータセットをコントリビュートする。 データセットには、130の異なるシーンから57,715枚のRGB-D画像が含まれている。 本稿では,RGB画像と不正確な深度マップを入力とし,精細化された深度マップを出力するエンド・ツー・エンドの深度補完ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-02-17T06:50:20Z)
• IFOR: Iterative Flow Minimization for Robotic Object Rearrangement [92.97142696891727]
  IFOR(Iterative Flow Minimization for Robotic Object Rearrangement)は、未知物体の物体再構成問題に対するエンドツーエンドの手法である。 本手法は,合成データのみを訓練しながら,散在するシーンや実世界に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-01T20:03:56Z)
• RGB-D Local Implicit Function for Depth Completion of Transparent Objects [43.238923881620494]
  ロボット工学における認識方法の大部分は、RGB-Dカメラが提供する深度情報を必要とする。 標準的な3Dセンサーは、屈折と光の吸収により透明な物体の深さを捉えられない。 ノイズの多いRGB-D入力を考慮し,欠損深度を完備できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T17:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。