論文の概要: FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback

• arxiv url: http://arxiv.org/abs/2303.07997v1
• Date: Tue, 14 Mar 2023 15:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 14:25:03.335732
• Title: FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback
• Title（参考訳）: FingerSLAM: Visuo-tactile フィードバックからの物体定位と再構成
• Authors: Jialiang Zhao, Maria Bauza, Edward H. Adelson
• Abstract要約: FingerSLAMは、指先での局所触覚センシングと、手首マウントカメラからのグローバル視覚センシングを組み合わせた、クローズドループ係数グラフに基づくポーズ推定装置である。 トレーニング中に見つからない6つの物体の定量的および定性的な実世界評価により,信頼性の高いビジュオ触覚ポーズ推定と形状再構成を実証した。
• 参考スコア（独自算出の注目度）: 5.871946269300959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the problem of using visuo-tactile feedback for 6-DoF localization and 3D reconstruction of unknown in-hand objects. We propose FingerSLAM, a closed-loop factor graph-based pose estimator that combines local tactile sensing at finger-tip and global vision sensing from a wrist-mount camera. FingerSLAM is constructed with two constituent pose estimators: a multi-pass refined tactile-based pose estimator that captures movements from detailed local textures, and a single-pass vision-based pose estimator that predicts from a global view of the object. We also design a loop closure mechanism that actively matches current vision and tactile images to previously stored key-frames to reduce accumulated error. FingerSLAM incorporates the two sensing modalities of tactile and vision, as well as the loop closure mechanism with a factor graph-based optimization framework. Such a framework produces an optimized pose estimation solution that is more accurate than the standalone estimators. The estimated poses are then used to reconstruct the shape of the unknown object incrementally by stitching the local point clouds recovered from tactile images. We train our system on real-world data collected with 20 objects. We demonstrate reliable visuo-tactile pose estimation and shape reconstruction through quantitative and qualitative real-world evaluations on 6 objects that are unseen during training.
• Abstract（参考訳）: 本稿では,未知の物体の6自由度位置推定と3次元再構成に視覚触覚フィードバックを用いる問題に対処する。 指先での局所触覚センシングと手首カメラからのグローバル視覚センシングを組み合わせた閉ループ係数グラフに基づくポーズ推定器であるFingerSLAMを提案する。 FingerSLAMは、2つの構成されたポーズ推定器で構成されている: マルチパス洗練された触覚ベースのポーズ推定器で、詳細な局所的なテクスチャから動きを捉える。 また,現在の視覚や触覚画像を予め保存したキーフレームに積極的にマッチさせるループクロージャ機構も設計し,累積誤差を低減した。 fingerslamには触覚と視覚の2つのセンシングモードと、ファクタグラフベースの最適化フレームワークによるループクロージャメカニズムが組み込まれている。 このようなフレームワークは、スタンドアローン推定器よりも正確な最適化されたポーズ推定ソリューションを生成する。 推定されたポーズは、触覚画像から回収した局所点雲を縫い合わせることで、未知物体の形状を漸進的に再構築する。 我々は20個のオブジェクトで収集した実世界のデータに基づいてシステムを訓練する。 トレーニング中に見つからない6つの物体の定量的および定性的な実世界評価により,信頼性の高いビジュオ触覚ポーズ推定と形状復元を行う。

関連論文リスト

• SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
  マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。 提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。 次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
  論文  参考訳（メタデータ） (2024-04-19T04:51:18Z)
• Semantic Object-level Modeling for Robust Visual Camera Relocalization [14.998133272060695]
  本稿では,オブジェクトの楕円形表現のためのオブジェクトレベルの自動ボクセルモデリング手法を提案する。 これらのモジュールはすべて、視覚的SLAMシステムに完全に介在している。
  論文  参考訳（メタデータ） (2024-02-10T13:39:44Z)
• LocaliseBot: Multi-view 3D object localisation with differentiable rendering for robot grasping [9.690844449175948]
  オブジェクトのポーズ推定に重点を置いています。 このアプローチは,オブジェクトの複数ビュー,それらの視点におけるカメラのパラメータ,オブジェクトの3次元CADモデルという3つの情報に依存している。 推定対象のポーズが99.65%の精度で真理把握候補を把握できることが示される。
  論文  参考訳（メタデータ） (2023-11-14T14:27:53Z)
• AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
  ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。 我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T16:54:38Z)
• Tac2Pose: Tactile Object Pose Estimation from the First Touch [6.321662423735226]
  触覚ポーズ推定のためのオブジェクト固有のアプローチであるTac2Poseを提案する。 我々は、高密度な物体のポーズがセンサーに生み出す接触形状をシミュレートする。 我々は、RGBの触覚観測を2値の接触形状にマッピングする、物体に依存しないキャリブレーションステップでセンサから接触形状を得る。
  論文  参考訳（メタデータ） (2022-04-25T14:43:48Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
  人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。 3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。 1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
  論文  参考訳（メタデータ） (2021-07-20T15:56:52Z)
• End-to-end learning of keypoint detection and matching for relative pose estimation [1.8352113484137624]
  2つの画像間の相対的なポーズを推定する新しい手法を提案する。 キーポイント検出,説明抽出,マッチング,ロバストなポーズ推定を共同で学習する。 本研究では,既知のポーズを持つ画像データベース内でのクエリ画像の視覚的局在化の手法を示す。
  論文  参考訳（メタデータ） (2021-04-02T15:16:17Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。