論文の概要: You Only Scan Once: A Dynamic Scene Reconstruction Pipeline for 6-DoF Robotic Grasping of Novel Objects
- arxiv url: http://arxiv.org/abs/2404.03462v1
- Date: Thu, 4 Apr 2024 14:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 14:41:45.469194
- Title: You Only Scan Once: A Dynamic Scene Reconstruction Pipeline for 6-DoF Robotic Grasping of Novel Objects
- Title(参考訳): 一度だけスキャンする:新しい物体の6自由度ロボットグラスピングのための動的シーン再構築パイプライン
- Authors: Lei Zhou, Haozhe Wang, Zhengshen Zhang, Zhiyang Liu, Francis EH Tay, adn Marcelo H. Ang. Jr,
- Abstract要約: 本稿では,動的シーン再構築のための新しい2段階パイプラインを提案する。
最初の段階では,各対象物をメッシュ再構成と新規オブジェクトポーズトラッキングで登録するために,シーンスキャンを入力として利用する。
第2段階では、オブジェクトのポーズをリアルタイムで提供し、再構成されたオブジェクトポイントの雲をシーンに戻せるようにします。
- 参考スコア(独自算出の注目度): 7.830251930628282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of robotic grasping, achieving accurate and reliable interactions with the environment is a pivotal challenge. Traditional methods of grasp planning methods utilizing partial point clouds derived from depth image often suffer from reduced scene understanding due to occlusion, ultimately impeding their grasping accuracy. Furthermore, scene reconstruction methods have primarily relied upon static techniques, which are susceptible to environment change during manipulation process limits their efficacy in real-time grasping tasks. To address these limitations, this paper introduces a novel two-stage pipeline for dynamic scene reconstruction. In the first stage, our approach takes scene scanning as input to register each target object with mesh reconstruction and novel object pose tracking. In the second stage, pose tracking is still performed to provide object poses in real-time, enabling our approach to transform the reconstructed object point clouds back into the scene. Unlike conventional methodologies, which rely on static scene snapshots, our method continuously captures the evolving scene geometry, resulting in a comprehensive and up-to-date point cloud representation. By circumventing the constraints posed by occlusion, our method enhances the overall grasp planning process and empowers state-of-the-art 6-DoF robotic grasping algorithms to exhibit markedly improved accuracy.
- Abstract(参考訳): ロボットの把握という領域では、環境との正確で信頼性の高い対話を実現することが重要な課題である。
奥行き画像から得られる部分点雲を利用した従来の把握手法は、閉塞によるシーン理解の低下に悩まされることが多く、最終的にはその把握精度を損なう。
さらに,シーン再構築手法は主に静的手法に依存しており,操作過程における環境変化の影響を受けやすいため,リアルタイム把握作業における有効性は制限されている。
これらの制約に対処するために,動的シーン再構築のための新しい2段階パイプラインを提案する。
最初の段階では,各対象物をメッシュ再構成と新規オブジェクトポーズトラッキングで登録するために,シーンスキャンを入力として利用する。
第2段階では、オブジェクトのポーズをリアルタイムで提供し、再構成されたオブジェクトポイントの雲をシーンに戻せるようにします。
静的なシーンスナップショットに依存する従来の手法とは異なり、我々の手法は進化するシーンの形状を連続的にキャプチャし、包括的で最新のポイントクラウド表現をもたらす。
閉塞による制約を回避することで、全体の把握計画プロセスを強化し、最先端の6-DoFロボット把握アルゴリズムを有効活用し、精度を大幅に向上させる。
関連論文リスト
- Simultaneous Map and Object Reconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。
連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
論文 参考訳(メタデータ) (2024-06-19T23:53:31Z) - Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳(メタデータ) (2024-06-06T03:37:39Z) - DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。
まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。
初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
論文 参考訳(メタデータ) (2024-06-03T17:59:53Z) - DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
論文 参考訳(メタデータ) (2024-03-15T08:48:37Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳(メタデータ) (2023-08-16T09:50:35Z) - Recovering Continuous Scene Dynamics from A Single Blurry Image with
Events [58.7185835546638]
インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。
両モードの利点を効果的に活用するために、二重注意変換器を提案する。
提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
論文 参考訳(メタデータ) (2023-04-05T18:44:17Z) - Scene-level Tracking and Reconstruction without Object Priors [14.068026331380844]
本研究では,各シーンにおける可視物体の追跡と再構成を行うことのできる,初めてのリアルタイムシステムを提案する。
提案システムでは,新しいシーンにおける全可視物体のライブな形状と変形をリアルタイムに行うことができる。
論文 参考訳(メタデータ) (2022-10-07T20:56:14Z) - I Like to Move It: 6D Pose Estimation as an Action Decision Process [53.63776807432945]
オブジェクトのポーズ推定は、ロボットビジョンとARの不可欠な部分である。
以前の6Dポーズ検索パイプラインは、問題を回帰タスクとして扱うか、または、ポーズ空間を識別して分類する。
我々はこのパラダイムを変更し、初期ポーズを段階的に離散的に更新するアクション決定プロセスとして問題を再構築する。
ニューラルネットワークが推定すると、単一のRGBイメージから反復的に移動し、許容できる最終ポーズを決定する。
論文 参考訳(メタデータ) (2020-09-26T20:05:42Z) - 3D Scene Geometry-Aware Constraint for Camera Localization with Deep
Learning [11.599633757222406]
近年、畳み込みニューラルネットワークに基づくエンドツーエンドのアプローチは、従来の3次元幾何学に基づく手法を達成または超えるように研究されている。
本研究では,絶対カメラポーズ回帰のためのコンパクトネットワークを提案する。
これらの従来の手法から着想を得た3Dシーンの幾何学的制約も、動き、深さ、画像の内容を含むすべての利用可能な情報を活用することによって導入される。
論文 参考訳(メタデータ) (2020-05-13T04:15:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。