論文の概要: Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation
of In-hand Objects
- arxiv url: http://arxiv.org/abs/2306.15858v1
- Date: Wed, 28 Jun 2023 01:18:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:14:34.306593
- Title: Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation
of In-hand Objects
- Title（参考訳）: 階層型グラフニューラルネットワークによるハンドオブジェクトの6次元ポーズ推定
- Authors: Alireza Rezazadeh, Snehal Dikhale, Soshi Iba and Nawid Jamali
- Abstract要約: マルチモーダル(ビジョンとタッチ)データを組み合わせた階層型グラフニューラルネットワークアーキテクチャを提案する。
また、グラフベースのオブジェクト表現を学習するために、モダリティ内および横断的に情報を流す階層的なメッセージパッシング操作を導入する。
- 参考スコア（独自算出の注目度）: 1.8263882169310044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation, in particular in-hand object manipulation, often
requires an accurate estimate of the object's 6D pose. To improve the accuracy
of the estimated pose, state-of-the-art approaches in 6D object pose estimation
use observational data from one or more modalities, e.g., RGB images, depth,
and tactile readings. However, existing approaches make limited use of the
underlying geometric structure of the object captured by these modalities,
thereby, increasing their reliance on visual features. This results in poor
performance when presented with objects that lack such visual features or when
visual features are simply occluded. Furthermore, current approaches do not
take advantage of the proprioceptive information embedded in the position of
the fingers. To address these limitations, in this paper: (1) we introduce a
hierarchical graph neural network architecture for combining multimodal (vision
and touch) data that allows for a geometrically informed 6D object pose
estimation, (2) we introduce a hierarchical message passing operation that
flows the information within and across modalities to learn a graph-based
object representation, and (3) we introduce a method that accounts for the
proprioceptive information for in-hand object representation. We evaluate our
model on a diverse subset of objects from the YCB Object and Model Set, and
show that our method substantially outperforms existing state-of-the-art work
in accuracy and robustness to occlusion. We also deploy our proposed framework
on a real robot and qualitatively demonstrate successful transfer to real
settings.
- Abstract（参考訳）: ロボット操作、特に手動の物体操作は、しばしば物体の6Dポーズの正確な推定を必要とする。
推定ポーズの精度を向上させるため、6次元物体ポーズ推定における最先端のアプローチでは、rgb画像、奥行き、触覚読取などの1つ以上のモードからの観測データを用いる。
しかし、既存のアプローチでは、これらのモダリティによって捕獲された物体の基底となる幾何学的構造を限定的に利用し、視覚的特徴に依存している。
これにより、このような視覚的特徴が欠けているオブジェクトや、単に視覚的特徴が無視されているオブジェクトが提示される場合のパフォーマンスが低下する。
また,現在のアプローチでは,指の位置に埋め込まれた固有情報を利用しない。
To address these limitations, in this paper: (1) we introduce a hierarchical graph neural network architecture for combining multimodal (vision and touch) data that allows for a geometrically informed 6D object pose estimation, (2) we introduce a hierarchical message passing operation that flows the information within and across modalities to learn a graph-based object representation, and (3) we introduce a method that accounts for the proprioceptive information for in-hand object representation.
我々は,YCBオブジェクトとモデルセットから多種多様なオブジェクトのサブセット上でモデルを評価し,その手法が既存の最先端技術よりも精度と強靭性で優れていることを示す。
また,提案フレームワークを実ロボットにデプロイし,実環境への移動を定量的に示す。
関連論文リスト
- Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics [31.819336585007104]
境界ボックスに対する3次元オブジェクト表現の代替としてスーパークワッドリックを活用することを提案する。
テンプレートレスオブジェクト再構成とアクション認識の両タスクで有効性を示す。
また,動詞と名詞の訓練組み合わせがテスト分割と重複しない,より困難な課題を考慮し,行動の構成性についても検討した。
論文 参考訳（メタデータ） (2025-01-13T07:26:05Z) - A Novel Convolution and Attention Mechanism-based Model for 6D Object Pose Estimation [49.1574468325115]
RGB画像から6Dオブジェクトのポーズを推定することは、深度情報の欠如が2次元投影から3次元構造を推定する必要があるため困難である。
従来の手法はグリッドベースのデータ構造によるディープラーニングに頼っていることが多いが、抽出された機能間の複雑な依存関係を捉えるのに苦労している。
本稿では,各画素の時間的特徴がノードとして機能し,それらの関係はノード接続や空間的相互作用を通じて定義される,画像から直接のグラフベース表現を提案する。
論文 参考訳（メタデータ） (2024-12-31T18:47:54Z) - MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。
本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。
第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-12-13T19:30:03Z) - Category-Agnostic 6D Pose Estimation with Conditional Neural Processes [19.387280883044482]
未知物体の6次元ポーズ推定のためのメタラーニング手法を提案する。
本アルゴリズムは,オブジェクトの表現をカテゴリに依存しない方法で学習し,オブジェクトカテゴリをまたいだ強力な一般化機能を実現する。
論文 参考訳（メタデータ） (2022-06-14T20:46:09Z) - What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。
通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
論文 参考訳（メタデータ） (2022-04-14T17:59:02Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。
重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。
このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
論文 参考訳（メタデータ） (2021-07-27T06:10:23Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳（メタデータ） (2021-01-05T17:18:52Z) - Self6D: Self-Supervised Monocular 6D Object Pose Estimation [114.18496727590481]
自己教師付き学習による単眼6次元ポーズ推定のアイデアを提案する。
ニューラルレンダリングの最近の進歩を活用して、注釈のない実RGB-Dデータのモデルをさらに自己監督する。
論文 参考訳（メタデータ） (2020-04-14T13:16:36Z) - Object 6D Pose Estimation with Non-local Attention [29.929911622127502]
本研究では,オブジェクト検出フレームワークに6次元オブジェクトポーズパラメータ推定を組み込むネットワークを提案する。
提案手法は,YCB- VideoおよびLinemodデータセット上での最先端性能に到達する。
論文 参考訳（メタデータ） (2020-02-20T14:23:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。