論文の概要: Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation
of In-hand Objects
- arxiv url: http://arxiv.org/abs/2306.15858v1
- Date: Wed, 28 Jun 2023 01:18:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:14:34.306593
- Title: Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation
of In-hand Objects
- Title（参考訳）: 階層型グラフニューラルネットワークによるハンドオブジェクトの6次元ポーズ推定
- Authors: Alireza Rezazadeh, Snehal Dikhale, Soshi Iba and Nawid Jamali
- Abstract要約: マルチモーダル(ビジョンとタッチ)データを組み合わせた階層型グラフニューラルネットワークアーキテクチャを提案する。
また、グラフベースのオブジェクト表現を学習するために、モダリティ内および横断的に情報を流す階層的なメッセージパッシング操作を導入する。
- 参考スコア（独自算出の注目度）: 1.8263882169310044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation, in particular in-hand object manipulation, often
requires an accurate estimate of the object's 6D pose. To improve the accuracy
of the estimated pose, state-of-the-art approaches in 6D object pose estimation
use observational data from one or more modalities, e.g., RGB images, depth,
and tactile readings. However, existing approaches make limited use of the
underlying geometric structure of the object captured by these modalities,
thereby, increasing their reliance on visual features. This results in poor
performance when presented with objects that lack such visual features or when
visual features are simply occluded. Furthermore, current approaches do not
take advantage of the proprioceptive information embedded in the position of
the fingers. To address these limitations, in this paper: (1) we introduce a
hierarchical graph neural network architecture for combining multimodal (vision
and touch) data that allows for a geometrically informed 6D object pose
estimation, (2) we introduce a hierarchical message passing operation that
flows the information within and across modalities to learn a graph-based
object representation, and (3) we introduce a method that accounts for the
proprioceptive information for in-hand object representation. We evaluate our
model on a diverse subset of objects from the YCB Object and Model Set, and
show that our method substantially outperforms existing state-of-the-art work
in accuracy and robustness to occlusion. We also deploy our proposed framework
on a real robot and qualitatively demonstrate successful transfer to real
settings.
- Abstract（参考訳）: ロボット操作、特に手動の物体操作は、しばしば物体の6Dポーズの正確な推定を必要とする。
推定ポーズの精度を向上させるため、6次元物体ポーズ推定における最先端のアプローチでは、rgb画像、奥行き、触覚読取などの1つ以上のモードからの観測データを用いる。
しかし、既存のアプローチでは、これらのモダリティによって捕獲された物体の基底となる幾何学的構造を限定的に利用し、視覚的特徴に依存している。
これにより、このような視覚的特徴が欠けているオブジェクトや、単に視覚的特徴が無視されているオブジェクトが提示される場合のパフォーマンスが低下する。
また,現在のアプローチでは,指の位置に埋め込まれた固有情報を利用しない。
To address these limitations, in this paper: (1) we introduce a hierarchical graph neural network architecture for combining multimodal (vision and touch) data that allows for a geometrically informed 6D object pose estimation, (2) we introduce a hierarchical message passing operation that flows the information within and across modalities to learn a graph-based object representation, and (3) we introduce a method that accounts for the proprioceptive information for in-hand object representation.
我々は,YCBオブジェクトとモデルセットから多種多様なオブジェクトのサブセット上でモデルを評価し,その手法が既存の最先端技術よりも精度と強靭性で優れていることを示す。
また,提案フレームワークを実ロボットにデプロイし,実環境への移動を定量的に示す。
関連論文リスト
- GenFlow: Generalizable Recurrent Flow for 6D Pose Refinement of Novel Objects [14.598853174946656]
我々は、新しいオブジェクトへの精度と一般化を可能にするアプローチであるGenFlowを提案する。
提案手法は, レンダリング画像と観察画像との間の光学的流れを予測し, 6次元ポーズを反復的に洗練する。
3次元形状の制約と、エンドツーエンドの微分システムから学習した一般化可能な幾何学的知識により、性能を向上させる。
論文 参考訳（メタデータ） (2024-03-18T06:32:23Z) - MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。
本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。
第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-12-13T19:30:03Z) - Category-Agnostic 6D Pose Estimation with Conditional Neural Processes [19.387280883044482]
未知物体の6次元ポーズ推定のためのメタラーニング手法を提案する。
本アルゴリズムは,オブジェクトの表現をカテゴリに依存しない方法で学習し,オブジェクトカテゴリをまたいだ強力な一般化機能を実現する。
論文 参考訳（メタデータ） (2022-06-14T20:46:09Z) - What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。
通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
論文 参考訳（メタデータ） (2022-04-14T17:59:02Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。
重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。
このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
論文 参考訳（メタデータ） (2021-07-27T06:10:23Z) - DONet: Learning Category-Level 6D Object Pose and Size Estimation from
Depth Observation [53.55300278592281]
単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。
筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。
我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
論文 参考訳（メタデータ） (2021-06-27T10:41:50Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳（メタデータ） (2021-01-05T17:18:52Z) - Self6D: Self-Supervised Monocular 6D Object Pose Estimation [114.18496727590481]
自己教師付き学習による単眼6次元ポーズ推定のアイデアを提案する。
ニューラルレンダリングの最近の進歩を活用して、注釈のない実RGB-Dデータのモデルをさらに自己監督する。
論文 参考訳（メタデータ） (2020-04-14T13:16:36Z) - Object 6D Pose Estimation with Non-local Attention [29.929911622127502]
本研究では,オブジェクト検出フレームワークに6次元オブジェクトポーズパラメータ推定を組み込むネットワークを提案する。
提案手法は,YCB- VideoおよびLinemodデータセット上での最先端性能に到達する。
論文 参考訳（メタデータ） (2020-02-20T14:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。