論文の概要: Adjustable Visual Appearance for Generalizable Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2306.01344v2
• Date: Mon, 4 Sep 2023 13:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 04:55:58.324392
• Title: Adjustable Visual Appearance for Generalizable Novel View Synthesis
• Title（参考訳）: 一般化可能な新しい視点合成のための調整可能な視覚外観
• Authors: Josef Bengtson, David Nilsson, Che-Tsung Lin, Marcel B\"usching and Fredrik Kahl
• Abstract要約: 本研究では,対象の天気や照明条件に合わせてレンダリングされたビューの視覚的外観を,シーン固有の訓練を伴わずに変更できる新しいビュー合成手法を提案する。 提案手法は一般化可能なトランスフォーマーアーキテクチャに基づいて,異なる外観条件下で合成されたシーンを訓練する。
• 参考スコア（独自算出の注目度）: 12.901033240320725
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a generalizable novel view synthesis method where it is possible to modify the visual appearance of rendered views to match a target weather or lighting condition without any scene specific training. Our method is based on a generalizable transformer architecture and is trained on synthetically generated scenes under different appearance conditions. This allows for rendering novel views in a consistent manner for 3D scenes that were not included in the training set, along with the ability to (i) modify their appearance to match the target condition and (ii) smoothly interpolate between different conditions. Experiments on real and synthetic scenes show that our method is able to generate 3D consistent renderings while making realistic appearance changes, including qualitative and quantitative comparisons with applying 2D style transfer methods on rendered views. Please refer to our project page for video results: https://ava-nvs.github.io/
• Abstract（参考訳）: 対象の気象条件や照明条件に適合するレンダリングビューの視覚的外観をシーン固有のトレーニングなしに修正できる汎用的な新規ビュー合成法を提案する。 本手法は, 一般化されたトランスフォーマーアーキテクチャに基づき, 異なる外観条件下で合成生成シーンを訓練する。 これにより、トレーニングセットに含まれていない3Dシーンに対して、新しいビューを一貫した方法でレンダリングすることができる。 (i)その外観を目標条件に合わせるように変更し、 (ii)異なる条件間をスムーズに補間する。 実写シーンと合成シーンでの実験では,映像に2Dスタイルの転送手法を適用した定性的,定量的な比較など,現実的な外観変化をしながら3次元一貫したレンダリングを生成できることが示されている。 ビデオの結果については、プロジェクトページを参照してください。

関連論文リスト

• Sparse Input View Synthesis: 3D Representations and Reliable Priors [0.8158530638728501]
  新しいビュー合成はコンピュータビジョンとグラフィックスの基本的な問題である。 最近の3D表現は、新しい視点からレンダリングされた画像の品質を著しく向上させる。 静的シーンと動的シーンの両方に対するスパース入力新規ビュー合成問題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-20T18:45:46Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
  メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。 合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。 実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
  論文  参考訳（メタデータ） (2022-03-20T13:06:15Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• Appearance Editing with Free-viewpoint Neural Rendering [6.3417651529192005]
  多視点画像からのシーンの同時合成と外観編集のためのフレームワークを提案する。 当社のアプローチでは、外観を明示的に切り離し、それとは独立して照明表現を学ぶ。 実際のシーンの外観を編集する結果を示し,提案手法が妥当な外観編集を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-14T19:14:05Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。