論文の概要: Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image

• arxiv url: http://arxiv.org/abs/2012.09854v2
• Date: Sat, 17 Apr 2021 03:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 11:44:03.531239
• Title: Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image
• Title（参考訳）: worldsheet: 世界を3dシートで包み込み、1枚の画像から合成する
• Authors: Ronghang Hu, Nikhila Ravi, Alex Berg, Deepak Pathak
• Abstract要約: 本稿では,単一のRGB画像のみを入力として,新しいビュー合成手法であるWorldsheetを提案する。 Worldsheetは、複数のデータセットにまたがるシングルイメージビュー合成において、常に最先端の手法を上回ります。
• 参考スコア（独自算出の注目度）: 26.770326254205223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Worldsheet, a method for novel view synthesis using just a single RGB image as input. The main insight is that simply shrink-wrapping a planar mesh sheet onto the input image, consistent with the learned intermediate depth, captures underlying geometry sufficient to generate photorealistic unseen views with large viewpoint changes. To operationalize this, we propose a novel differentiable texture sampler that allows our wrapped mesh sheet to be textured and rendered differentiably into an image from a target viewpoint. Our approach is category-agnostic, end-to-end trainable without using any 3D supervision, and requires a single image at test time. We also explore a simple extension by stacking multiple layers of Worldsheets to better handle occlusions. Worldsheet consistently outperforms prior state-of-the-art methods on single-image view synthesis across several datasets. Furthermore, this simple idea captures novel views surprisingly well on a wide range of high-resolution in-the-wild images, converting them into navigable 3D pop-ups. Video results and code at https://worldsheet.github.io.
• Abstract（参考訳）: 本稿では,単一のRGB画像のみを入力として,新しいビュー合成手法であるWorldsheetを提案する。 主な洞察は、平面メッシュシートを入力画像に縮小するだけであり、学習した中間深度と一致して、大きな視点変化でフォトリアリスティックな見えないビューを生成するのに十分な形状をキャプチャする。 そこで本研究では,包み込んだメッシュシートをテクスチャ化し,対象の視点から画像に微分的に描画できる,新しい微分可能なテクスチャ・サンプラーを提案する。 我々のアプローチは、カテゴリに依存しないエンドツーエンドのトレーニングで、3Dの監督を使わずに、テスト時に1つのイメージを必要とする。 また、複数のWorldsheetのレイヤを積み重ねてオクルージョンを処理することで、シンプルな拡張も検討しています。 Worldsheetは、複数のデータセットにまたがる単一イメージビュー合成における最先端の手法を一貫して上回る。 さらに、このシンプルなアイデアは、広い範囲の高解像度のインザミルド画像で驚くほど新しいビューを捉え、ナビゲート可能な3Dポップアップに変換する。 Video results and code at https://worldsheet.github.io.com

関連論文リスト

• Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
  Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。 鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。 精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
  論文  参考訳（メタデータ） (2024-08-21T08:19:12Z)
• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Generative View Synthesis: From Single-view Semantics to Novel-view Images [38.7873192939574]
  ジェネレーティブビュー合成(GVS)は、単一のセマンティックマップが与えられたシーンの複数のフォトリアリスティックビューを合成することができる。 まず、入力された2Dセマンティックマップを、特徴空間内のシーンの3D層表現に持ち上げる。 次に、レイヤー化された特徴を対象のビューに投影し、最終的なノベルビュー画像を生成する。
  論文  参考訳（メタデータ） (2020-08-20T17:48:16Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。