論文の概要: Stable View Synthesis

• arxiv url: http://arxiv.org/abs/2011.07233v2
• Date: Sun, 2 May 2021 12:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 13:37:15.170987
• Title: Stable View Synthesis
• Title（参考訳）: 安定なビュー合成
• Authors: Gernot Riegler, Vladlen Koltun
• Abstract要約: 安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
• 参考スコア（独自算出の注目度）: 100.86844680362196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Stable View Synthesis (SVS). Given a set of source images depicting a scene from freely distributed viewpoints, SVS synthesizes new views of the scene. The method operates on a geometric scaffold computed via structure-from-motion and multi-view stereo. Each point on this 3D scaffold is associated with view rays and corresponding feature vectors that encode the appearance of this point in the input images. The core of SVS is view-dependent on-surface feature aggregation, in which directional feature vectors at each 3D point are processed to produce a new feature vector for a ray that maps this point into the new target view. The target view is then rendered by a convolutional network from a tensor of features synthesized in this way for all pixels. The method is composed of differentiable modules and is trained end-to-end. It supports spatially-varying view-dependent importance weighting and feature transformation of source images at each point; spatial and temporal stability due to the smooth dependence of on-surface feature aggregation on the target view; and synthesis of view-dependent effects such as specular reflection. Experimental results demonstrate that SVS outperforms state-of-the-art view synthesis methods both quantitatively and qualitatively on three diverse real-world datasets, achieving unprecedented levels of realism in free-viewpoint video of challenging large-scale scenes. Code is available at https://github.com/intel-isl/StableViewSynthesis
• Abstract（参考訳）: 安定ビュー合成(SVS)について述べる。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新しいビューを合成する。 この方法は、構造からの移動と多視点ステレオによって計算された幾何学的足場で動作する。 この3d足場の各ポイントは、入力画像におけるこの点の外観をエンコードするビュー線および対応する特徴ベクトルと関連付けられている。 SVSのコアは、ビュー依存の地上特徴集約であり、各3Dポイントの方向特徴ベクトルを処理して、このポイントを新しいターゲットビューにマッピングする線のための新しい特徴ベクトルを生成する。 対象のビューは畳み込みネットワークによって、すべてのピクセルに対してこの方法で合成された特徴のテンソルからレンダリングされる。 この方法は異なるモジュールで構成され、エンドツーエンドで訓練されている。 空間的に異なる視点依存的重要度重み付けと各点におけるソース画像の特徴変換、対象視点における表面的特徴集約の滑らかな依存による空間的および時間的安定性、およびスペクトル反射のようなビュー依存的効果の合成をサポートする。 実験結果から,SVSは3つの実世界のデータセットを定量的かつ質的に比較し,大規模シーンに挑戦する自由視点ビデオにおいて,前例のないレベルのリアリズムを達成した。 コードはhttps://github.com/intel-isl/StableViewSynthesisで入手できる。

関連論文リスト

• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• CVSformer: Cross-View Synthesis Transformer for Semantic Scene Completion [0.0]
  クロスビューオブジェクト関係を学習するための多視点特徴合成とクロスビュー変換からなるクロスビュー合成変換器(CVSformer)を提案する。 拡張された特徴を用いて、全てのボクセルの幾何学的占有度と意味ラベルを予測する。 我々はCVSformerを公開データセット上で評価し、CVSformerは最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-07-16T04:08:03Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose [10.028521796737314]
  本稿では,ラベル付きサンプルと非ラベル付きデータの集合から3次元オブジェクトのポーズを推定する学習の課題について検討する。 我々の主な貢献は学習フレームワークであるニューラルビュー合成とマッチングであり、3Dポーズアノテーションをラベル付けされたラベル付き画像から、確実に非ラベル付き画像に転送することができる。
  論文  参考訳（メタデータ） (2021-10-27T06:53:53Z)
• Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
  従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
  論文  参考訳（メタデータ） (2021-03-29T08:11:25Z)
• Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
  時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。 既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
  論文  参考訳（メタデータ） (2020-12-11T20:22:38Z)
• AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation [27.163052958878776]
  本稿では,ポーズ・インスペクションを伴わない単一の2次元画像から学習に基づく新規ビュー・シンセサイザーを目標とする。 本研究では,学習済みの相対的目的/回転と暗黙的グローバルな3次元表現を両立させるために,エンドツーエンドの訓練可能な条件変分フレームワークを構築した。 本システムでは,3次元再構成を明示的に行うことなく,暗黙的に3次元理解を行うことができる。
  論文  参考訳（メタデータ） (2020-07-13T18:51:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。