論文の概要: Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions

• arxiv url: http://arxiv.org/abs/2404.01812v1
• Date: Tue, 2 Apr 2024 10:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:59:04.351639
• Title: Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions
• Title（参考訳）: 視覚的・リオリエンテーション行動を用いたロボットマニピュレータのためのNeRFに基づく物体モデルの不確実性を考慮したアクティブラーニング
• Authors: Saptarshi Dasgupta, Akshat Gupta, Shreshth Tuli, Rohan Paul,
• Abstract要約: 本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
• 参考スコア（独自算出の注目度）: 8.059133373836913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Manipulating unseen objects is challenging without a 3D representation, as objects generally have occluded surfaces. This requires physical interaction with objects to build their internal representations. This paper presents an approach that enables a robot to rapidly learn the complete 3D model of a given object for manipulation in unfamiliar orientations. We use an ensemble of partially constructed NeRF models to quantify model uncertainty to determine the next action (a visual or re-orientation action) by optimizing informativeness and feasibility. Further, our approach determines when and how to grasp and re-orient an object given its partial NeRF model and re-estimates the object pose to rectify misalignments introduced during the interaction. Experiments with a simulated Franka Emika Robot Manipulator operating in a tabletop environment with benchmark objects demonstrate an improvement of (i) 14% in visual reconstruction quality (PSNR), (ii) 20% in the geometric/depth reconstruction of the object surface (F-score) and (iii) 71% in the task success rate of manipulating objects a-priori unseen orientations/stable configurations in the scene; over current methods. The project page can be found here: https://actnerf.github.io.
• Abstract（参考訳）: 見えない物体を操作することは、3D表現なしでは難しい。 これは、内部表現を構築するためにオブジェクトとの物理的相互作用を必要とする。 本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構成されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、情報性と実現可能性の最適化により次の動作(視覚的または再指向的動作)を決定する。 さらに,提案手法は,部分的NeRFモデルを用いて物体をいつ,どのように把握し,どのように再配置するかを判断し,相互作用中に導入された不整合を補正するためにオブジェクトのポーズを再推定する。 ベンチマークオブジェクトを用いたテーブルトップ環境で動作する模擬フランカエミカロボットマニピュレータによる実験は、改善を実証する。 (i)視覚再建品質(PSNR)14% (二 物体表面(Fスコア)の幾何・深度復元における20% 三 作業成功率の七1%が、現場の見当たらない配向・安定配置を操作し、現在の方法による。 プロジェクトページは以下の通りである。

関連論文リスト

• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• LocaliseBot: Multi-view 3D object localisation with differentiable rendering for robot grasping [9.690844449175948]
  オブジェクトのポーズ推定に重点を置いています。 このアプローチは,オブジェクトの複数ビュー,それらの視点におけるカメラのパラメータ,オブジェクトの3次元CADモデルという3つの情報に依存している。 推定対象のポーズが99.65%の精度で真理把握候補を把握できることが示される。
  論文  参考訳（メタデータ） (2023-11-14T14:27:53Z)
• Uncertainty-aware 3D Object-Level Mapping with Deep Shape Priors [15.34487368683311]
  未知のオブジェクトに対して高品質なオブジェクトレベルマップを再構築するフレームワークを提案する。 提案手法では,複数のRGB-D画像を入力として,高密度な3次元形状と検出対象に対する9-DoFポーズを出力する。 2つの新たな損失関数を通して形状を伝播し不確実性を生じさせる確率的定式化を導出する。
  論文  参考訳（メタデータ） (2023-09-17T00:48:19Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
  現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。 本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
  論文  参考訳（メタデータ） (2023-04-10T20:55:41Z)
• Fixing Malfunctional Objects With Learned Physical Simulation and Functional Prediction [158.74130075865835]
  機能不全な3Dオブジェクトが与えられたら、人間はその機能を推論し、どのように修正するかを理解するために精神シミュレーションを行うことができる。 人間の心的シミュレーションプロセスの模倣として,知覚と物理力学をシームレスに組み込んだ新しいフレームワークであるFixNetを提案する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:36Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• IFOR: Iterative Flow Minimization for Robotic Object Rearrangement [92.97142696891727]
  IFOR(Iterative Flow Minimization for Robotic Object Rearrangement)は、未知物体の物体再構成問題に対するエンドツーエンドの手法である。 本手法は,合成データのみを訓練しながら,散在するシーンや実世界に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-01T20:03:56Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。