論文の概要: Semantic View Synthesis
- arxiv url: http://arxiv.org/abs/2008.10598v1
- Date: Mon, 24 Aug 2020 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:18:02.945789
- Title: Semantic View Synthesis
- Title（参考訳）: セマンティックビューの合成
- Authors: Hsin-Ping Huang, Hung-Yu Tseng, Hsin-Ying Lee, Jia-Bin Huang
- Abstract要約: 我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として、合成シーンの自由視点レンダリングを生成する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
- 参考スコア（独自算出の注目度）: 56.47999473206778
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We tackle a new problem of semantic view synthesis -- generating
free-viewpoint rendering of a synthesized scene using a semantic label map as
input. We build upon recent advances in semantic image synthesis and view
synthesis for handling photographic image content generation and view
extrapolation. Direct application of existing image/view synthesis methods,
however, results in severe ghosting/blurry artifacts. To address the drawbacks,
we propose a two-step approach. First, we focus on synthesizing the color and
depth of the visible surface of the 3D scene. We then use the synthesized color
and depth to impose explicit constraints on the multiple-plane image (MPI)
representation prediction process. Our method produces sharp contents at the
original view and geometrically consistent renderings across novel viewpoints.
The experiments on numerous indoor and outdoor images show favorable results
against several strong baselines and validate the effectiveness of our
approach.
- Abstract（参考訳）: 我々はセマンティック・ビュー・シンセサイザーの新たな課題に取り組み、セマンティック・ラベル・マップを入力として合成シーンの自由視点レンダリングを生成する。
我々は、画像コンテンツ生成とビュー外挿を扱うためのセマンティック画像合成とビュー合成の最近の進歩の上に構築する。
しかし、既存の画像/ビュー合成法を直接適用すると、深刻なゴースト/ブラリーアーティファクトが発生する。
欠点に対処するため,我々は2段階のアプローチを提案する。
まず,3次元映像の視覚面の色と深度を合成することに焦点を当てた。
次に、合成色と深度を用いて、多面画像(MPI)表現予測プロセスに明示的な制約を課す。
本手法は, オリジナルビューでシャープなコンテンツを生成し, 新たな視点で幾何学的に一貫したレンダリングを行う。
室内および屋外の多数の画像に対する実験は,いくつかの強いベースラインに対して良好な結果を示し,本手法の有効性を検証した。
関連論文リスト
- GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D
Scene Understanding [30.951440204237166]
本稿では,画像のセマンティクスを合成プロセスに取り込む汎用セマンティックニューラルネットワーク場(GSNeRF)について紹介する。
我々のGSNeRFはセマンティックジオ推論と奥行き誘導ビジュアルレンダリングの2つのステージで構成されている。
論文 参考訳（メタデータ） (2024-03-06T10:55:50Z) - ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。
再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。
そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
論文 参考訳（メタデータ） (2023-09-19T15:23:52Z) - SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation
for Novel View Synthesis from a Single Image [60.52991173059486]
単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。
提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
論文 参考訳（メタデータ） (2023-09-12T15:33:09Z) - Survey on Controlable Image Synthesis with Deep Learning [15.29961293132048]
本稿では,ディープラーニングを用いた3次元制御可能な画像合成に関する最近の研究について述べる。
まず,3次元制御可能な画像合成のためのデータセットと評価指標を紹介する。
光制御可能な画像合成手法も3次元再照明研究のために検討されている。
論文 参考訳（メタデータ） (2023-07-18T07:02:51Z) - HORIZON: High-Resolution Semantically Controlled Panorama Synthesis [105.55531244750019]
パノラマ合成は、仮想世界の中心にユーザーを没入させ、360度の視覚的な風景を再現する。
視覚合成の最近の進歩は、2次元平面画像における意味制御の可能性を解き放ったが、これらの手法のパノラマ合成への直接的応用は歪んだ内容を生み出す。
我々は,高分解能パノラマを生成するための革新的な枠組みを公表し,洗練された球面モデリングによる球面歪みとエッジ不連続性の問題に着目した。
論文 参考訳（メタデータ） (2022-10-10T09:43:26Z) - Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。
提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。
訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
論文 参考訳（メタデータ） (2021-08-23T09:44:56Z) - Learned Spatial Representations for Few-shot Talking-Head Synthesis [68.3787368024951]
複数発話頭合成のための新しいアプローチを提案する。
この異方性表現は,従来の手法よりも大幅に改善されることを示す。
論文 参考訳（メタデータ） (2021-04-29T17:59:42Z) - Generative View Synthesis: From Single-view Semantics to Novel-view
Images [38.7873192939574]
ジェネレーティブビュー合成(GVS)は、単一のセマンティックマップが与えられたシーンの複数のフォトリアリスティックビューを合成することができる。
まず、入力された2Dセマンティックマップを、特徴空間内のシーンの3D層表現に持ち上げる。
次に、レイヤー化された特徴を対象のビューに投影し、最終的なノベルビュー画像を生成する。
論文 参考訳（メタデータ） (2020-08-20T17:48:16Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。