論文の概要: Slice3D: Multi-Slice, Occlusion-Revealing, Single View 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2312.02221v1
• Date: Sun, 3 Dec 2023 18:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:10:42.306426
• Title: Slice3D: Multi-Slice, Occlusion-Revealing, Single View 3D Reconstruction
• Title（参考訳）: slice3d:マルチスライス、オクルージョンリビアリング、single view 3d reconstruction
• Authors: Yizhi Wang, Wallace Lira, Wenqi Wang, Ali Mahdavi-Amiri, Hao Zhang
• Abstract要約: 単一視点3次元再構成の新しい概念であるマルチスライス推論を導入する。 私たちのキーとなる観察は、オブジェクトスライシングは、隠された構造を明らかにするためにビューを変更するよりも有利であるということです。 Slice3Dは, 単視点3D再構成のための新しい手法である。
• 参考スコア（独自算出の注目度）: 14.145876951442316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce multi-slice reasoning, a new notion for single-view 3D reconstruction which challenges the current and prevailing belief that multi-view synthesis is the most natural conduit between single-view and 3D. Our key observation is that object slicing is more advantageous than altering views to reveal occluded structures. Specifically, slicing is more occlusion-revealing since it can peel through any occluders without obstruction. In the limit, i.e., with infinitely many slices, it is guaranteed to unveil all hidden object parts. We realize our idea by developing Slice3D, a novel method for single-view 3D reconstruction which first predicts multi-slice images from a single RGB image and then integrates the slices into a 3D model using a coordinate-based transformer network for signed distance prediction. The slice images can be regressed or generated, both through a U-Net based network. For the former, we inject a learnable slice indicator code to designate each decoded image into a spatial slice location, while the slice generator is a denoising diffusion model operating on the entirety of slice images stacked on the input channels. We conduct extensive evaluation against state-of-the-art alternatives to demonstrate superiority of our method, especially in recovering complex and severely occluded shape structures, amid ambiguities. All Slice3D results were produced by networks trained on a single Nvidia A40 GPU, with an inference time less than 20 seconds.
• Abstract（参考訳）: 複数視点合成が単一視点と3次元の最も自然なコンジットであるという、現在および一般的な信念に挑戦する、単一視点3次元再構成の新しい概念であるマルチスライス推論を導入する。 私たちのキーとなる観察は、オブジェクトスライシングは、隠された構造を明らかにするためにビューを変更するよりも有利であるということです。 特に、スライシングは閉塞のない咬合器を剥がすことができるため、閉塞防止効果が高い。 限界、すなわち無限に多くのスライスを持つ場合、すべての隠されたオブジェクトの部品を明かすことが保証される。 本研究では,単一のrgb画像から複数のスライス画像を最初に予測し,そのスライスを座標系トランスフォーマーネットワークを用いて3dモデルに統合し,符号付き距離予測を行う,slice3dを開発した。 スライス画像は、U-Netベースのネットワークを介して、後退または生成することができる。 前者の場合、学習可能なスライスインジケータコードを挿入して、各デコードされた画像を空間的なスライスロケーションに指定し、スライス生成器は入力チャネルに積み重ねられたスライスイメージの全体で動作するデノージング拡散モデルである。 本手法の優位性を示すために, 現状の代替案に対して広範囲に評価を行い, あいまいさの中, 複雑かつ厳密な形状構造を復元する。 slice3dの結果はすべて、単一のnvidia a40 gpuでトレーニングされたネットワークが生成し、推論時間は20秒未満だった。

関連論文リスト

• Part123: Part-aware 3D Reconstruction from a Single-view Image [54.589723979757515]
  Part123は、一視点画像から部分認識された3D再構成のための新しいフレームワークである。 ニューラルレンダリングフレームワークにコントラスト学習を導入し、部分認識機能空間を学習する。 クラスタリングに基づくアルゴリズムも開発され、再構成されたモデルから3次元部分分割結果を自動的に導出する。
  論文  参考訳（メタデータ） (2024-05-27T07:10:21Z)
• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
  2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。 我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。 これは、野生の画像からでも、より正確な3D再構成を提供する。
  論文  参考訳（メタデータ） (2023-09-05T10:21:37Z)
• 3D-LatentMapper: View Agnostic Single-View Reconstruction of 3D Shapes [0.0]
  視覚変換器(ViT)の中間潜時空間と共同画像テキスト表現モデル(CLIP)を高速かつ効率的なシングルビュー再構成(SVR)に活用する新しいフレームワークを提案する。 本研究ではShapeNetV2データセットを用いてSOTA法との比較実験を行い,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:45:26Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images [56.652027072552606]
  Pix2Vox++という,単一ビューと複数ビューの3Dオブジェクト再構成のための新しいフレームワークを提案する。 良く設計されたエンコーダデコーダを用いて、各入力画像から粗い3Dボリュームを生成する。 次に、マルチスケールコンテキスト対応融合モジュールを導入し、全ての粗い3Dボリュームから異なる部分の高品質な再構成を適応的に選択し、融合した3Dボリュームを得る。
  論文  参考訳（メタデータ） (2020-06-22T13:48:09Z)
• AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
  セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。 我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。 提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
  論文  参考訳（メタデータ） (2020-05-27T12:16:24Z)
• CoReNet: Coherent 3D scene reconstruction from a single RGB image [43.74240268086773]
  我々は1つのRBG画像のみを入力として与えられた1つの物体の形状を再構築する深層学習の進歩の上に構築する。 提案する3つの拡張は,(1)局所的な2次元情報を物理的に正しい方法で出力3Dボリュームに伝播するレイトレーシングスキップ接続,(2)翻訳同変モデルの構築を可能にするハイブリッド3Dボリューム表現,(3)全体オブジェクトの形状を捉えるために調整された再構成損失である。 すべての物体がカメラに対して一貫した1つの3次元座標フレームに居住し、3次元空間内では交差しないコヒーレントな再構成を実現する。
  論文  参考訳（メタデータ） (2020-04-27T17:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。