論文の概要: Robust 3D Shape Reconstruction in Zero-Shot from a Single Image in the Wild
- arxiv url: http://arxiv.org/abs/2403.14539v2
- Date: Thu, 28 Nov 2024 13:53:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:17:53.466517
- Title: Robust 3D Shape Reconstruction in Zero-Shot from a Single Image in the Wild
- Title（参考訳）: 野生の単一画像からのゼロショットにおけるロバスト3次元形状再構成
- Authors: Junhyeong Cho, Kim Youwang, Hunmin Yang, Tae-Hyun Oh,
- Abstract要約: 本研究では,3次元形状復元に特化して設計された分割と再構成を統合した統合回帰モデルを提案する。
また、オブジェクト、オクローダ、バックグラウンドの幅広いバリエーションをシミュレートするスケーラブルなデータ合成パイプラインも導入しています。
我々の合成データのトレーニングにより,提案モデルは実世界の画像に対して最先端のゼロショット結果が得られる。
- 参考スコア（独自算出の注目度）: 22.82439286651921
- License:
- Abstract: Recent monocular 3D shape reconstruction methods have shown promising zero-shot results on object-segmented images without any occlusions. However, their effectiveness is significantly compromised in real-world conditions, due to imperfect object segmentation by off-the-shelf models and the prevalence of occlusions. To effectively address these issues, we propose a unified regression model that integrates segmentation and reconstruction, specifically designed for occlusion-aware 3D shape reconstruction. To facilitate its reconstruction in the wild, we also introduce a scalable data synthesis pipeline that simulates a wide range of variations in objects, occluders, and backgrounds. Training on our synthetic data enables the proposed model to achieve state-of-the-art zero-shot results on real-world images, using significantly fewer parameters than competing approaches.
- Abstract（参考訳）: 近年のモノクローナル3次元形状再構成法では, 咬合を伴わない物体分割画像に対して, ゼロショットが有望であることが示されている。
しかし、それらの効果は、既成のモデルによる不完全な対象のセグメンテーションと、隠蔽の頻度により、現実世界の状況において著しく損なわれている。
これらの課題を効果的に解決するために,我々は分割と再構成を統合した統合回帰モデルを提案する。
また,オブジェクト,オクローダ,背景の幅広いバリエーションをシミュレートする,スケーラブルなデータ合成パイプラインも導入している。
合成データの学習により,提案モデルは実世界の画像に対して,競合する手法よりもはるかに少ないパラメータを用いて,最先端のゼロショット結果が得られる。
関連論文リスト
- Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。
本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
論文 参考訳（メタデータ） (2024-03-21T10:38:18Z) - pix2gestalt: Amodal Segmentation by Synthesizing Wholes [34.45464291259217]
pix2gestaltはゼロショットアモーダルセグメンテーションのためのフレームワークである。
ゼロショットに挑戦する場合には,オブジェクト全体を再構成するための条件拡散モデルを学ぶ。
論文 参考訳（メタデータ） (2024-01-25T18:57:36Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳（メタデータ） (2021-01-18T03:24:48Z) - SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。
主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。
私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
論文 参考訳（メタデータ） (2020-06-05T18:53:36Z) - Reconstruct, Rasterize and Backprop: Dense shape and pose estimation
from a single image [14.9851111159799]
本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。
我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
論文 参考訳（メタデータ） (2020-04-25T20:53:43Z) - Monocular Human Pose and Shape Reconstruction using Part Differentiable
Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。
本稿では,ボディセグメンテーションを重要な監視対象として紹介する。
部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文 参考訳（メタデータ） (2020-03-24T14:25:46Z) - Convolutional Occupancy Networks [88.48287716452002]
本稿では,オブジェクトと3Dシーンの詳細な再構築のための,より柔軟な暗黙的表現である畳み込み機能ネットワークを提案する。
畳み込みエンコーダと暗黙の占有デコーダを組み合わせることで、帰納的バイアスが組み込まれ、3次元空間における構造的推論が可能となる。
実験により,本手法は単一物体の微細な3次元再構成,大規模屋内シーンへのスケール,合成データから実データへの一般化を可能にした。
論文 参考訳（メタデータ） (2020-03-10T10:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。