論文の概要: Stereo Vision Based Single-Shot 6D Object Pose Estimation for
Bin-Picking by a Robot Manipulator
- arxiv url: http://arxiv.org/abs/2005.13759v1
- Date: Thu, 28 May 2020 03:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-27 05:47:12.995288
- Title: Stereo Vision Based Single-Shot 6D Object Pose Estimation for
Bin-Picking by a Robot Manipulator
- Title（参考訳）: ステレオビジョンを用いたロボットマニピュレータによるビンピッキングのためのシングルショット6Dオブジェクトポス推定
- Authors: Yoshihiro Nakano
- Abstract要約: ロボットマニピュレータによる機械部品のビンピッキングのための高速で正確な6次元オブジェクトポーズ推定法を提案する。
我々の畳み込みニューラルネットワークモデルは、深度情報のない左画像または右画像から物体の位置と回転に回帰する。
半フロートモデルで実装されたJetson AGX Xavierでは、1024 x 1024ピクセルの画像を75ミリ秒で処理することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a fast and accurate method of 6D object pose estimation for
bin-picking of mechanical parts by a robot manipulator. We extend the
single-shot approach to stereo vision by application of attention architecture.
Our convolutional neural network model regresses to object locations and
rotations from either a left image or a right image without depth information.
Then, a stereo feature matching module, designated as Stereo Grid Attention,
generates stereo grid matching maps. The important point of our method is only
to calculate disparity of the objects found by the attention from stereo
images, instead of calculating a point cloud over the entire image. The
disparity value is then used to calculate the depth to the objects by the
principle of triangulation. Our method also achieves a rapid processing speed
of pose estimation by the single-shot architecture and it is possible to
process a 1024 x 1024 pixels image in 75 milliseconds on the Jetson AGX Xavier
implemented with half-float model. Weakly textured mechanical parts are used to
exemplify the method. First, we create original synthetic datasets for training
and evaluating of the proposed model. This dataset is created by capturing and
rendering numerous 3D models of several types of mechanical parts in virtual
space. Finally, we use a robotic manipulator with an electromagnetic gripper to
pick up the mechanical parts in a cluttered state to verify the validity of our
method in an actual scene. When a raw stereo image is used by the proposed
method from our stereo camera to detect black steel screws, stainless screws,
and DC motor parts, i.e., cases, rotor cores and commutator caps, the
bin-picking tasks are successful with 76.3%, 64.0%, 50.5%, 89.1% and 64.2%
probability, respectively.
- Abstract（参考訳）: ロボットマニピュレータによる機械部品のビンピッキングのための高速で正確な6次元オブジェクトポーズ推定法を提案する。
我々は、アテンションアーキテクチャの適用により、シングルショットアプローチをステレオビジョンに拡張する。
我々の畳み込みニューラルネットワークモデルは、深度情報のない左画像または右画像から物体の位置と回転に回帰する。
そして、ステレオグリッドアテンションに指定されたステレオ特徴マッチングモジュールがステレオグリッドマッチングマップを生成する。
本手法の重要なポイントは,ステレオ画像からの注意によって見出される物体の差を,画像全体の点雲を計算するのではなく,計算することである。
そして、三角測量の原理によって物体の深さを計算するために不一致値が用いられる。
提案手法は, 単写式アーキテクチャによるポーズ推定の高速な処理速度を実現し, 半フロートモデルで実装したJetson AGX Xavier上で1024×1024ピクセルの画像を75ミリ秒で処理することができる。
弱テクスチャの機械部品を用いて方法の例示を行う。
まず,提案モデルの学習と評価のために,独自の合成データセットを作成する。
このデータセットは、仮想空間内の複数の種類の機械部品の多数の3dモデルをキャプチャしてレンダリングすることで作成される。
最後に、電磁グリップを備えたロボットマニピュレータを用いて、乱れ状態の機械部品を拾い上げ、実際のシーンでの手法の有効性を検証する。
提案したステレオカメラを用いて黒鋼スクリュー,ステンレススクリュー,直流モータ部品,すなわちローターコア,コンピュテータキャップを検出する場合,ビンピッキングタスクはそれぞれ76.3%,64.0%,50.5%,89.1%,64.2%の確率で成功する。
関連論文リスト
- PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。
我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。
相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
論文 参考訳（メタデータ） (2024-11-17T23:09:08Z) - Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。
まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。
この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。
両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文 参考訳（メタデータ） (2024-09-26T17:57:16Z) - Category-level Object Detection, Pose Estimation and Reconstruction from Stereo Images [15.921719523588996]
既存の単分子法とRGB-D法は、欠落や深さの測定によるスケールの曖昧さに悩まされている。
本稿では,カテゴリーレベルの物体検出のための一段階的アプローチであるCoDERSを提案する。
私たちのデータセット、コード、デモはプロジェクトのページで公開されます。
論文 参考訳（メタデータ） (2024-07-09T15:59:03Z) - Lightweight Monocular Depth Estimation [4.19709743271943]
画像セグメンテーションネットワークのUnet構造を入力として,単一のRGB画像のみを与えられた各画素の深さ値を予測するために,軽量な機械学習モデルを構築した。
提案手法は比較的高精度かつ低ルート平均二乗誤差を実現する。
論文 参考訳（メタデータ） (2022-12-21T21:05:16Z) - PoET: Pose Estimation Transformer for Single-View, Multi-Object 6D Pose
Estimation [6.860183454947986]
本稿では、RGB画像を入力とし、画像内の各オブジェクトに対する6Dポーズを予測するトランスフォーマーベースのアプローチを提案する。
画像のほかに、深度マップや3Dオブジェクトモデルなどの追加情報も不要です。
挑戦的なYCB-Vデータセットに対するRGBのみのアプローチの最先端結果を得る。
論文 参考訳（メタデータ） (2022-11-25T14:07:14Z) - Learning Pseudo Front Depth for 2D Forward-Looking Sonar-based
Multi-view Stereo [5.024813922014977]
水中ロボット工学の分野では,2次元前方ソナーから音響画像の欠落した次元情報を取得することがよく知られている。
本稿では,3次元情報を推定する新しい学習型多視点ステレオ手法を提案する。
論文 参考訳（メタデータ） (2022-07-30T14:35:21Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - Pose Estimation of Specific Rigid Objects [0.7931904787652707]
本稿では,RGBまたはRGB-D入力画像から剛体物体の6次元ポーズを推定する問題に対処する。
この問題は、ロボット操作、拡張現実、自律運転など、多くの応用分野において非常に重要である。
論文 参考訳（メタデータ） (2021-12-30T14:36:47Z) - Robust 2D/3D Vehicle Parsing in CVIS [54.825777404511605]
本研究では,協調型車両インフラシステム(CVIS)の一環として,異なるカメラビューの車両を堅牢に検出・認識する新しいアプローチを提案する。
提案方式は任意のカメラビュー向けに設計されており,本質的パラメータや外部的パラメータを仮定しない。
実際に,本手法は2次元検出,インスタンスセグメンテーション,6-DoFのポーズ推定においてSOTA法より優れている。
論文 参考訳（メタデータ） (2021-03-11T03:35:05Z) - Nothing But Geometric Constraints: A Model-Free Method for Articulated
Object Pose Estimation [89.82169646672872]
本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。
我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
論文 参考訳（メタデータ） (2020-11-30T20:46:48Z) - PerMO: Perceiving More at Once from a Single Image for Autonomous
Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。
私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。
我々はこれらのアルゴリズムを自律運転システムに統合した。
論文 参考訳（メタデータ） (2020-07-16T05:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。