論文の概要: Novel View Synthesis with View-Dependent Effects from a Single Image

• arxiv url: http://arxiv.org/abs/2312.08071v1
• Date: Wed, 13 Dec 2023 11:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:33:35.414235
• Title: Novel View Synthesis with View-Dependent Effects from a Single Image
• Title（参考訳）: 単一画像からのビュー依存効果を用いた新しいビュー合成
• Authors: Juan Luis Gonzalez Bello and Munchurl Kim
• Abstract要約: まず、単一画像に基づく新規ビュー合成(NVS)問題に対するビュー依存効果を検討する。 我々は、NVSにおけるカメラモーションの先行性を利用して、視覚に依存した外観や効果(VDE)をシーン内の負の相違としてモデル化することを提案する。 本稿では,提案手法がVDEを用いてNVSを学習できることを示すとともに,RealEstate10kおよびMannequinChallengeデータセット上でのSOTAシングルビューNVS法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 35.85973300177698
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we firstly consider view-dependent effects into single image-based novel view synthesis (NVS) problems. For this, we propose to exploit the camera motion priors in NVS to model view-dependent appearance or effects (VDE) as the negative disparity in the scene. By recognizing specularities "follow" the camera motion, we infuse VDEs into the input images by aggregating input pixel colors along the negative depth region of the epipolar lines. Also, we propose a `relaxed volumetric rendering' approximation that allows computing the densities in a single pass, improving efficiency for NVS from single images. Our method can learn single-image NVS from image sequences only, which is a completely self-supervised learning method, for the first time requiring neither depth nor camera pose annotations. We present extensive experiment results and show that our proposed method can learn NVS with VDEs, outperforming the SOTA single-view NVS methods on the RealEstate10k and MannequinChallenge datasets.
• Abstract（参考訳）: 本稿では,まず,単一の画像ベース新規ビュー合成(nvs)問題に対するビュー依存効果について考察する。 そこで本研究では,nvsのカメラモーションプリエントを利用して,映像のネガティブな差としてvde(view-dependent appearance or effects)をモデル化することを提案する。 カメラの動きを「追う」特異点を認識することにより、入力画素色をエピポーラ線の負の深さ領域に沿って集約することにより、VDEを入力画像に注入する。 また, 1 回のパスでの密度計算を可能にし, 1 枚の画像からの nvs の効率を向上させる 'relaxed volumetric rendering' 近似を提案する。 本手法は,完全な自己教師あり学習法である画像シーケンスのみから,深度もカメラのポーズアノテーションも必要とせず,単一の画像nvsを学習できる。 本稿では,提案手法がVDEを用いてNVSを学習できることを示すとともに,RealEstate10kおよびMannequinChallengeデータセット上でのSOTAシングルビューNVS法よりも優れていることを示す。

関連論文リスト

• NVS-Solver: Video Diffusion Model as Zero-Shot Novel View Synthesizer [48.57740681957145]
  そこで本研究では,テキストを不要に操作する新しいビュー合成(NVS)パラダイムを提案する。 NVS-rは、所定のビューで拡散サンプリングプロセスを適応的に変調し、目覚しい視覚体験の作成を可能にする。
  論文  参考訳（メタデータ） (2024-05-24T08:56:19Z)
• Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
  単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。 本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
  論文  参考訳（メタデータ） (2023-11-02T08:34:07Z)
• TOSS:High-quality Text-guided Novel View Synthesis from a Single Image [36.90122394242858]
  本稿では,単一のRGB画像から,新しいビュー合成(NVS)タスクにテキストを導入するTOSSについて述べる。 この制限に対処するため、TOSSはテキストを高レベルのセマンティック情報として使用し、NVSソリューション空間を制限している。
  論文  参考訳（メタデータ） (2023-10-16T17:59:09Z)
• S-VolSDF: Sparse Multi-View Stereo Regularization of Neural Implicit Surfaces [75.30792581941789]
  暗黙の面のニューラルレンダリングは、3次元視覚アプリケーションでうまく機能する。 スパース入力画像のみが利用可能となると、形状と輝度のあいまいさの問題により出力品質が著しく低下する。 MVSソリューションを用いてニューラルレンダリング最適化の正規化を提案する。
  論文  参考訳（メタデータ） (2023-03-30T21:10:58Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views [10.565297375544414]
  本研究は,NVSおよびNeRFの知覚的評価に関する最初の研究である。 NVS法により合成されたビデオの品質を,よく制御された知覚品質評価実験で測定した。
  論文  参考訳（メタデータ） (2023-03-24T11:53:48Z)
• NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
  NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。 本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。 比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-24T19:59:39Z)
• Point-Based Neural Rendering with Per-View Optimization [5.306819482496464]
  入力ビューの空間におけるシーン特性のさらなる最適化を実現するため,MVSを用いた一般的な手法を提案する。 このアプローチの重要な要素は、新しい差別化可能なポイントベースパイプラインです。 私たちはこれらの要素をニューラルネットワークで組み合わせることで、テストしたほぼすべてのシーンにおいて、品質とスピードの両方で従来の方法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-06T11:19:31Z)
• Single-View View Synthesis with Multiplane Images [64.46556656209769]
  深層学習を応用して、既知の視点で2つ以上の入力画像が与えられた多面体画像を生成する。 本手法は,単一画像入力から直接多面体画像を予測することを学習する。 さらに、適切な深度マップを生成し、背景層の前景オブジェクトのエッジの背後にあるコンテンツを埋める。
  論文  参考訳（メタデータ） (2020-04-23T17:59:19Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。