論文の概要: Novel View Synthesis from Single Images via Point Cloud Transformation

• arxiv url: http://arxiv.org/abs/2009.08321v2
• Date: Fri, 18 Sep 2020 14:54:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 11:47:47.006890
• Title: Novel View Synthesis from Single Images via Point Cloud Transformation
• Title（参考訳）: 点雲変換による単一画像からの新規ビュー合成
• Authors: Hoang-An Le, Thomas Mensink, Partha Das, Theo Gevers
• Abstract要約: 提案手法では,物体の形状を捉えるために点雲を推定し,望まれる図形に自由に回転させ,新しい図形に投影する。 入力ビューとターゲットビューを前方にワープし、後方にワープすることで、ネットワークを奥行きの監視なしにエンドツーエンドにトレーニングすることができる。 新しいビュー合成のための明示的な3次元形状として点雲を用いる利点は、3D ShapeNetベンチマークで実験的に検証されている。
• 参考スコア（独自算出の注目度）: 19.752722584657796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper the argument is made that for true novel view synthesis of objects, where the object can be synthesized from any viewpoint, an explicit 3D shape representation isdesired. Our method estimates point clouds to capture the geometry of the object, which can be freely rotated into the desired view and then projected into a new image. This image, however, is sparse by nature and hence this coarse view is used as the input of an image completion network to obtain the dense target view. The point cloud is obtained using the predicted pixel-wise depth map, estimated from a single RGB input image,combined with the camera intrinsics. By using forward warping and backward warpingbetween the input view and the target view, the network can be trained end-to-end without supervision on depth. The benefit of using point clouds as an explicit 3D shape for novel view synthesis is experimentally validated on the 3D ShapeNet benchmark. Source code and data will be available at https://lhoangan.github.io/pc4novis/.
• Abstract（参考訳）: 本稿では,オブジェクトを任意の視点から合成できるオブジェクトの真の新規なビュー合成について,明示的な3次元形状表現が望ましいという議論を行う。 提案手法では,物体の形状を捉えるために点雲を推定し,望まれる視点に自由に回転させて新たな画像に投影する。 しかし、この画像は自然によって疎いので、この粗いビューを画像補完ネットワークの入力として使用して、密集したターゲットビューを得る。 点雲は、カメラ固有の1枚のRGB入力画像から推定される予測画素幅深度マップを用いて得られる。 入力ビューとターゲットビューの間に前方のワーピングと後方のワーピングを使用することで、ネットワークを奥行きの監視なしにエンドツーエンドにトレーニングすることができる。 新しいビュー合成のための明示的な3次元形状として点雲を用いる利点は、3D ShapeNetベンチマークで実験的に検証されている。 ソースコードとデータはhttps://lhoangan.github.io/pc4novis/で入手できる。

関連論文リスト

• Self-supervised 3D Point Cloud Completion via Multi-view Adversarial Learning [61.14132533712537]
  我々は、オブジェクトレベルとカテゴリ固有の幾何学的類似性の両方を効果的に活用するフレームワークであるMAL-SPCを提案する。 私たちのMAL-SPCは3Dの完全な監視を一切必要とせず、各オブジェクトに1つの部分点クラウドを必要とするだけです。
  論文  参考訳（メタデータ） (2024-07-13T06:53:39Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding [80.04281842702294]
  本稿では,複数の視点から抽出した特徴の集合として,各3次元点を表す多視点クラウド(Voint Cloud)の概念を紹介する。 この新しい3次元Vointクラウド表現は、3Dポイントクラウド表現のコンパクト性と、マルチビュー表現の自然なビュー認識性を組み合わせたものである。 理論的に確立された機能を持つVointニューラルネットワーク(VointNet)をデプロイし,Voint空間の表現を学習する。
  論文  参考訳（メタデータ） (2021-11-30T13:08:19Z)
• ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
  ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。 不規則な3D点雲を通常の2Dカラー画像に変換する。 多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
  論文  参考訳（メタデータ） (2020-12-05T13:19:55Z)
• Stable View Synthesis [100.86844680362196]
  安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
  論文  参考訳（メタデータ） (2020-11-14T07:24:43Z)
• Continuous Object Representation Networks: Novel View Synthesis without Target View Supervision [26.885846254261626]
  連続オブジェクト表現ネットワーク(Continuous Object Representation Networks、CORN)は、入力画像の幾何学と外観を3D一貫したシーン表現にマッピングする条件付きアーキテクチャである。 CORNは、新しいビューの合成やシングルビューの3D再構成、そして直接監督を使用する最先端のアプローチに匹敵するパフォーマンスといった挑戦的なタスクでうまく機能する。
  論文  参考訳（メタデータ） (2020-07-30T17:49:44Z)
• Novel-View Human Action Synthesis [39.72702883597454]
  対象視点を合成する新しい3D推論を提案する。 まず,対象物体の3次元メッシュを推定し,粗いテクスチャを2次元画像からメッシュに転送する。 本研究では, 局地的, 地域的, グローバルなテクスチャを伝達することで, 半密度のテクスチャメッシュを創出する。
  論文  参考訳（メタデータ） (2020-07-06T15:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。