論文の概要: Interaction-Driven Active 3D Reconstruction with Object Interiors

• arxiv url: http://arxiv.org/abs/2310.14700v1
• Date: Mon, 23 Oct 2023 08:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-24 21:29:06.964532
• Title: Interaction-Driven Active 3D Reconstruction with Object Interiors
• Title（参考訳）: 物体内部との相互作用駆動型能動3次元再構成
• Authors: Zihao Yan, Fubao Su, Mingyang Wang, Ruizhen Hu, Hao Zhang, Hui Huang
• Abstract要約: 本稿では,視覚認識,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。 本手法は,RGBDセンサを内蔵したFetchロボットによって自動的に動作させる。
• 参考スコア（独自算出の注目度）: 17.48872400701787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an active 3D reconstruction method which integrates visual perception, robot-object interaction, and 3D scanning to recover both the exterior and interior, i.e., unexposed, geometries of a target 3D object. Unlike other works in active vision which focus on optimizing camera viewpoints to better investigate the environment, the primary feature of our reconstruction is an analysis of the interactability of various parts of the target object and the ensuing part manipulation by a robot to enable scanning of occluded regions. As a result, an understanding of part articulations of the target object is obtained on top of complete geometry acquisition. Our method operates fully automatically by a Fetch robot with built-in RGBD sensors. It iterates between interaction analysis and interaction-driven reconstruction, scanning and reconstructing detected moveable parts one at a time, where both the articulated part detection and mesh reconstruction are carried out by neural networks. In the final step, all the remaining, non-articulated parts, including all the interior structures that had been exposed by prior part manipulations and subsequently scanned, are reconstructed to complete the acquisition. We demonstrate the performance of our method via qualitative and quantitative evaluation, ablation studies, comparisons to alternatives, as well as experiments in a real environment.
• Abstract（参考訳）: 本研究では,視覚,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。 カメラの視点を最適化して環境をよりよく調査する他の能動的視覚研究とは異なり, 再建の主目的は, 対象物の様々な部分の相互作用性の解析と, 隠蔽領域の走査を可能にするロボットによる操作である。 その結果、完全な幾何学的取得の上に対象対象物の部分的記述の理解が得られる。 本手法はrgbdセンサーを内蔵したフェッチロボットによって完全に自動で動作する。 相互作用解析と相互作用駆動型再構成、検出された移動可能な部分の走査と再構成を繰り返すことで、関節部検出とメッシュ再構築の両方がニューラルネットワークによって行われる。 最終段階では、前部操作で露出し、その後スキャンされたすべての内部構造を含む残りの全ての非係留部品が、取得を完了するために再構築される。 本手法は, 質的, 定量的評価, アブレーション研究, 代替品との比較, 実環境実験を通じて, 性能を実証する。

関連論文リスト

• IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
  IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。 マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。 次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
  論文  参考訳（メタデータ） (2025-04-09T12:36:48Z)
• Detection Based Part-level Articulated Object Reconstruction from Single RGBD Image [52.11275397911693]
  本稿では,1枚のRGBD画像から複数の人工関節オブジェクトを再構成する,エンドツーエンドで訓練可能なクロスカテゴリ手法を提案する。 私たちは、あらかじめ定義された部分数で人工的なオブジェクトに焦点をあて、インスタンスレベルの潜在空間を学習することに依存する以前の作業から離れています。 提案手法は, 従来の作業では処理できない様々な構成された複数インスタンスの再構築に成功し, 形状再構成や運動学推定において, 先行の作業よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-04T05:08:04Z)
• ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting [66.29782808719301]
  コンピュータビジョンにおいて、音声で表現されたオブジェクトを構築することが重要な課題である。 既存のメソッドは、しばしば異なるオブジェクト状態間で効果的に情報を統合できない。 3次元ガウスを柔軟かつ効率的な表現として活用する新しいアプローチであるArtGSを紹介する。
  論文  参考訳（メタデータ） (2025-02-26T10:25:32Z)
• Betsu-Betsu: Multi-View Separable 3D Reconstruction of Two Interacting Objects [67.96148051569993]
  本稿では, 近接相互作用中の2つの物体の形状と外観を再構成し, 両者を3次元で解離させるニューロ・インシシシット法を提案する。 フレームワークはエンドツーエンドのトレーニングが可能で、新しいアルファブレンディング正規化を使用して管理されている。 我々は,人間と物体の密接な相互作用からなる新しいデータセットを導入するとともに,武道を行う人間の2つの場面について評価する。
  論文  参考訳（メタデータ） (2025-02-19T18:59:56Z)
• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• Kinematics-based 3D Human-Object Interaction Reconstruction from Single View [10.684643503514849]
  既存の方法は、単に身体のポーズを単に屋内データセットのネットワークトレーニングに依存するだけである。 本研究では,人体の関節を人体接触領域へ正確に駆動するキネマティクスに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:44:35Z)
• Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
  本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
  論文  参考訳（メタデータ） (2024-04-02T10:15:06Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• RoSI: Recovering 3D Shape Interiors from Few Articulation Images [20.430308190444737]
  既存の3次元モデルの内部形状を,マルチビューおよびマルチアレイ画像からのみ外形に復元する学習フレームワークを提案する。 我々のニューラルアーキテクチャはカテゴリーに依存しない方法で訓練されており、モーションアウェアなマルチビュー分析フェーズで構成されています。 さらに,本手法では, 対象の3次元物体に対して, 被写体の動きを予測し, 外挿することも可能である。
  論文  参考訳（メタデータ） (2023-04-13T08:45:26Z)
• Neural Part Priors: Learning to Optimize Part-Based Object Completion in RGB-D Scans [27.377128012679076]
  本稿では,部分情報付き3次元形状の大規模合成データセットを活用してニューラル部品の先行学習を提案する。 実世界でスキャンされた3Dシーンをテスト時に適合させるために、学習した部分を最適化できます。 ScanNetデータセットの実験では、NPPは部分分解とオブジェクト補完において、技術の状態を大幅に上回っている。
  論文  参考訳（メタデータ） (2022-03-17T15:05:44Z)
• Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image [58.69732754597448]
  椅子の写真があれば、椅子の3次元形状を抽出し、その可愛らしい調音や動きをアニメーション化し、元の画像空間でその場でレンダリングできるだろうか? 単一画像中の調音対象を抽出・操作するための自動アプローチを考案する。
  論文  参考訳（メタデータ） (2021-08-05T16:20:12Z)
• Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model Alignments [81.38641691636847]
  エンボディエージェントの観点から,シーン再構築の問題を再考する。 rgb-dデータストリームを用いてインタラクティブシーンを再構築する。 この再構成されたシーンは、密集したパノプティカルマップのオブジェクトメッシュを、部分ベースのCADモデルに置き換える。
  論文  参考訳（メタデータ） (2021-03-30T05:56:58Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from a Single RGB Image [102.44347847154867]
  プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。 我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。 ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
  論文  参考訳（メタデータ） (2020-04-02T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。