論文の概要: Interaction-Driven Active 3D Reconstruction with Object Interiors

• arxiv url: http://arxiv.org/abs/2310.14700v1
• Date: Mon, 23 Oct 2023 08:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 21:29:06.964532
• Title: Interaction-Driven Active 3D Reconstruction with Object Interiors
• Title（参考訳）: 物体内部との相互作用駆動型能動3次元再構成
• Authors: Zihao Yan, Fubao Su, Mingyang Wang, Ruizhen Hu, Hao Zhang, Hui Huang
• Abstract要約: 本稿では,視覚認識,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。 本手法は,RGBDセンサを内蔵したFetchロボットによって自動的に動作させる。
• 参考スコア（独自算出の注目度）: 17.48872400701787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an active 3D reconstruction method which integrates visual perception, robot-object interaction, and 3D scanning to recover both the exterior and interior, i.e., unexposed, geometries of a target 3D object. Unlike other works in active vision which focus on optimizing camera viewpoints to better investigate the environment, the primary feature of our reconstruction is an analysis of the interactability of various parts of the target object and the ensuing part manipulation by a robot to enable scanning of occluded regions. As a result, an understanding of part articulations of the target object is obtained on top of complete geometry acquisition. Our method operates fully automatically by a Fetch robot with built-in RGBD sensors. It iterates between interaction analysis and interaction-driven reconstruction, scanning and reconstructing detected moveable parts one at a time, where both the articulated part detection and mesh reconstruction are carried out by neural networks. In the final step, all the remaining, non-articulated parts, including all the interior structures that had been exposed by prior part manipulations and subsequently scanned, are reconstructed to complete the acquisition. We demonstrate the performance of our method via qualitative and quantitative evaluation, ablation studies, comparisons to alternatives, as well as experiments in a real environment.
• Abstract（参考訳）: 本研究では,視覚,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。 カメラの視点を最適化して環境をよりよく調査する他の能動的視覚研究とは異なり, 再建の主目的は, 対象物の様々な部分の相互作用性の解析と, 隠蔽領域の走査を可能にするロボットによる操作である。 その結果、完全な幾何学的取得の上に対象対象物の部分的記述の理解が得られる。 本手法はrgbdセンサーを内蔵したフェッチロボットによって完全に自動で動作する。 相互作用解析と相互作用駆動型再構成、検出された移動可能な部分の走査と再構成を繰り返すことで、関節部検出とメッシュ再構築の両方がニューラルネットワークによって行われる。 最終段階では、前部操作で露出し、その後スキャンされたすべての内部構造を含む残りの全ての非係留部品が、取得を完了するために再構築される。 本手法は, 質的, 定量的評価, アブレーション研究, 代替品との比較, 実環境実験を通じて, 性能を実証する。

関連論文リスト

• Kinematics-based 3D Human-Object Interaction Reconstruction from Single View [10.684643503514849]
  既存の方法は、単に身体のポーズを単に屋内データセットのネットワークトレーニングに依存するだけである。 本研究では,人体の関節を人体接触領域へ正確に駆動するキネマティクスに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:44:35Z)
• Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
  本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
  論文  参考訳（メタデータ） (2024-04-02T10:15:06Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• RoSI: Recovering 3D Shape Interiors from Few Articulation Images [20.430308190444737]
  既存の3次元モデルの内部形状を,マルチビューおよびマルチアレイ画像からのみ外形に復元する学習フレームワークを提案する。 我々のニューラルアーキテクチャはカテゴリーに依存しない方法で訓練されており、モーションアウェアなマルチビュー分析フェーズで構成されています。 さらに,本手法では, 対象の3次元物体に対して, 被写体の動きを予測し, 外挿することも可能である。
  論文  参考訳（メタデータ） (2023-04-13T08:45:26Z)
• Neural Part Priors: Learning to Optimize Part-Based Object Completion in RGB-D Scans [27.377128012679076]
  本稿では,部分情報付き3次元形状の大規模合成データセットを活用してニューラル部品の先行学習を提案する。 実世界でスキャンされた3Dシーンをテスト時に適合させるために、学習した部分を最適化できます。 ScanNetデータセットの実験では、NPPは部分分解とオブジェクト補完において、技術の状態を大幅に上回っている。
  論文  参考訳（メタデータ） (2022-03-17T15:05:44Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model Alignments [81.38641691636847]
  エンボディエージェントの観点から,シーン再構築の問題を再考する。 rgb-dデータストリームを用いてインタラクティブシーンを再構築する。 この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
  論文  参考訳（メタデータ） (2021-03-30T05:56:58Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
  プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。 我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
  論文  参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。