論文の概要: RGB-Only Reconstruction of Tabletop Scenes for Collision-Free Manipulator Control

• arxiv url: http://arxiv.org/abs/2210.11668v1
• Date: Fri, 21 Oct 2022 01:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 15:55:14.381211
• Title: RGB-Only Reconstruction of Tabletop Scenes for Collision-Free Manipulator Control
• Title（参考訳）: 衝突のないマニピュレータ制御のためのテーブルトップシーンのRGBオンリー再構成
• Authors: Zhenggang Tang, Balakumar Sundaralingam, Jonathan Tremblay, Bowen Wen, Ye Yuan, Stephen Tyree, Charles Loop, Alexander Schwing, Stan Birchfield
• Abstract要約: 世界のRGBビューのみを用いたロボットマニピュレータの無衝突制御システムを提案する。 テーブルトップシーンの知覚入力は、ロボットエンドエフェクタにハンドヘルドまたは装着されたRGBカメラの複数の画像によって提供される。 シーンの3次元形状を再構成するために、NeRFのようなプロセスが使用され、そこからユークリッド完全符号距離関数(ESDF)が計算される。 次に、モデル予測制御アルゴリズムを用いてマニピュレータを制御し、ESDFの障害物を避けながら所望のポーズに達する。
• 参考スコア（独自算出の注目度）: 71.51781695764872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a system for collision-free control of a robot manipulator that uses only RGB views of the world. Perceptual input of a tabletop scene is provided by multiple images of an RGB camera (without depth) that is either handheld or mounted on the robot end effector. A NeRF-like process is used to reconstruct the 3D geometry of the scene, from which the Euclidean full signed distance function (ESDF) is computed. A model predictive control algorithm is then used to control the manipulator to reach a desired pose while avoiding obstacles in the ESDF. We show results on a real dataset collected and annotated in our lab.
• Abstract（参考訳）: 本稿では,世界のrgbビューのみを使用するロボットマニピュレータの衝突回避制御システムを提案する。 テーブルトップシーンの知覚入力は、ロボットエンドエフェクタにハンドヘルドまたは装着されたRGBカメラ(奥行きのない)の複数の画像によって提供される。 シーンの3次元形状を再構成するために、NeRFのようなプロセスが使用され、そこからユークリッド完全符号距離関数(ESDF)が計算される。 次に、モデル予測制御アルゴリズムを用いてマニピュレータを制御し、ESDFの障害物を避けながら所望のポーズに達する。 実験室で収集および注釈付けされた実際のデータセットで結果を示す。

関連論文リスト

• Unifying Scene Representation and Hand-Eye Calibration with 3D Foundation Models [13.58353565350936]
  環境の表現はロボティクスにおける中心的な課題である。 伝統的に、ユーザーはチェッカーボードやエイプリルタグなどの特定の外部マーカーを使用してカメラを校正する必要がある。 本稿では,マニピュレータ搭載RGBカメラを搭載したロボットシステムへの3Dファウンデーション表現の統合を提唱する。
  論文  参考訳（メタデータ） (2024-04-17T18:29:32Z)
• A Distance-Geometric Method for Recovering Robot Joint Angles From an RGB Image [7.971699294672282]
  本稿では,ロボットマニピュレータの関節角度を現在の構成の1つのRGB画像のみを用いて検索する手法を提案する。 提案手法は,構成空間の距離幾何学的表現に基づいて,ロボットの運動モデルに関する知識を活用する。
  論文  参考訳（メタデータ） (2023-01-05T12:57:45Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle Prediction [8.707695512525717]
  操舵角度予測のための感覚運動の協調を終末的に学習するために模倣学習を用いる。 本研究は、フレームベースのRGBとイベントデータの融合による、エンドツーエンドの横方向制御の学習について検討する。 DRFuserは、エンド・ツー・エンドの横方向制御を学習するための新しい畳み込みエンコーダ・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2022-02-11T08:22:36Z)
• Real-time RGBD-based Extended Body Pose Estimation [57.61868412206493]
  3DヒトポーズのリアルタイムRGBDに基づく推定システムを提案する。 パラメトリック3次元変形可能なヒューマンメッシュモデル(SMPL-X)を表現として使用する。 身体のポーズと表情パラメータの推定子を訓練する。
  論文  参考訳（メタデータ） (2021-03-05T13:37:50Z)
• Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation [89.82169646672872]
  本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。 我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
  論文  参考訳（メタデータ） (2020-11-30T20:46:48Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)
• Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing [12.368559816913585]
  現在のロボットグリップコントローラの多くはクローズドループではないため、物体を動かすのに失敗する。 本稿では、カメラRGB情報を用いて、画像に基づく視覚サーボを用いて、ロボットをオブジェクト相対的グリップポーズに誘導する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-16T05:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。