論文の概要: IPoD: Implicit Field Learning with Point Diffusion for Generalizable 3D Object Reconstruction from Single RGB-D Images
- arxiv url: http://arxiv.org/abs/2404.00269v1
- Date: Sat, 30 Mar 2024 07:17:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 04:40:03.639878
- Title: IPoD: Implicit Field Learning with Point Diffusion for Generalizable 3D Object Reconstruction from Single RGB-D Images
- Title(参考訳): IPoD:1枚のRGB-D画像からの一般化可能な3次元物体再構成のための点拡散を用いた暗黙フィールド学習
- Authors: Yushuang Wu, Luyue Shi, Junhao Cai, Weihao Yuan, Lingteng Qiu, Zilong Dong, Liefeng Bo, Shuguang Cui, Xiaoguang Han,
- Abstract要約: シングルビューRGB-D画像からの3Dオブジェクトの汎用化は依然として難しい課題である。
本稿では,暗黙の場学習と点拡散を調和させる新しい手法IPoDを提案する。
CO3D-v2データセットによる実験では、IPoDの優位性が確認され、Fスコアは7.8%、チャンファー距離は28.6%向上した。
- 参考スコア(独自算出の注目度): 50.4538089115248
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generalizable 3D object reconstruction from single-view RGB-D images remains a challenging task, particularly with real-world data. Current state-of-the-art methods develop Transformer-based implicit field learning, necessitating an intensive learning paradigm that requires dense query-supervision uniformly sampled throughout the entire space. We propose a novel approach, IPoD, which harmonizes implicit field learning with point diffusion. This approach treats the query points for implicit field learning as a noisy point cloud for iterative denoising, allowing for their dynamic adaptation to the target object shape. Such adaptive query points harness diffusion learning's capability for coarse shape recovery and also enhances the implicit representation's ability to delineate finer details. Besides, an additional self-conditioning mechanism is designed to use implicit predictions as the guidance of diffusion learning, leading to a cooperative system. Experiments conducted on the CO3D-v2 dataset affirm the superiority of IPoD, achieving 7.8% improvement in F-score and 28.6% in Chamfer distance over existing methods. The generalizability of IPoD is also demonstrated on the MVImgNet dataset. Our project page is at https://yushuang-wu.github.io/IPoD.
- Abstract(参考訳): 単一視点のRGB-D画像からの一般化可能な3Dオブジェクト再構成は、特に実世界のデータでは難しい課題である。
現在の最先端の手法はトランスフォーマーに基づく暗黙のフィールド学習を開発し、全空間にわたって一様にサンプリングされる密度の高いクエリスーパービジョンを必要とする集中的な学習パラダイムを必要とする。
本稿では,暗黙の場学習と点拡散を調和させる新しい手法IPoDを提案する。
このアプローチは、暗黙的なフィールド学習のための問合せポイントを、反復的雑音化のためのノイズの多い点クラウドとして扱い、ターゲットオブジェクト形状への動的適応を可能にする。
このような適応的な問合せポイントは、拡散学習の粗い形状回復能力を利用しており、また、より詳細な詳細を記述できる暗黙の表現能力も強化している。
さらに、拡散学習のガイダンスとして暗黙の予測を用いることで、協調的なシステムを実現するために、追加の自己条件機構が設計されている。
CO3D-v2データセットによる実験では、IPoDの優位性が確認され、Fスコアは7.8%、チャンファー距離は28.6%向上した。
IPoDの一般化性は、MVImgNetデータセットにも示されている。
プロジェクトページはhttps://yushuang-wu.github.io/IPoD.com/。
関連論文リスト
- 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
ドメイン外データへの一般化の改善に注力する。
対象を逆向きに変形させるベクトルの集合を学習する。
本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
論文 参考訳(メタデータ) (2023-08-29T17:58:55Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳(メタデータ) (2022-12-12T13:10:19Z) - DCL-Net: Deep Correspondence Learning Network for 6D Pose Estimation [43.963630959349885]
本稿では,DCL-Netとして短縮された直接6次元オブジェクトポーズ推定のためのディープ対応学習ネットワークを提案する。
DCL-Netは,YCB-Video,LineMOD,Oclussion-LineMODを含む3つのベンチマークデータセットにおいて,既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:04:40Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation [24.770767430749288]
DPODv2(Dense Pose Object Detector)と呼ばれる3ステージ6DoFオブジェクト検出手法を提案する。
本研究では,2次元物体検出器と高密度対応推定ネットワークを組み合わせることで,フル6DFのポーズを推定する多視点ポーズ補正手法を提案する。
DPODv2は、使用済みのデータモダリティとトレーニングデータの種類によらず、高速でスケーラブルなまま、すべてのデータに対して優れた結果を得る。
論文 参考訳(メタデータ) (2022-07-06T16:48:56Z) - Concentric Spherical GNN for 3D Representation Learning [53.45704095146161]
同心球面特徴写像を学習するための新しい多解畳み込みアーキテクチャを提案する。
当社の階層的アーキテクチャは、球内情報と球間情報の両方を組み込むための代替学習に基づいています。
回転データを用いた3次元分類作業における最先端性能向上へのアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2021-03-18T19:05:04Z) - 3D Point-to-Keypoint Voting Network for 6D Pose Estimation [8.801404171357916]
3次元キーポイントの空間構造特性に基づくRGB-Dデータから6次元ポーズ推定のためのフレームワークを提案する。
提案手法は, LINEMOD と OCCLUSION LINEMOD の2つのベンチマークデータセットで検証する。
論文 参考訳(メタデータ) (2020-12-22T11:43:15Z) - RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction [19.535169371240073]
本稿では,高密度物体表面を直接点雲から検出・再構成するRfD-Netを提案する。
インスタンス再構成を大域的オブジェクトローカライゼーションと局所形状予測に分離する。
我々のアプローチは、オブジェクト再構成において、最先端の技術を一貫して上回り、メッシュIoUの11以上を改善します。
論文 参考訳(メタデータ) (2020-11-30T12:58:05Z) - Spherical Interpolated Convolutional Network with Distance-Feature
Density for 3D Semantic Segmentation of Point Clouds [24.85151376535356]
従来のグリッド形状の3次元畳み込み演算子を置き換えるために,球面補間畳み込み演算子を提案する。
提案手法は,ScanNetデータセットとParis-Lille-3Dデータセットで良好な性能を示す。
論文 参考訳(メタデータ) (2020-11-27T15:35:12Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳(メタデータ) (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。