論文の概要: FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2309.05418v1
• Date: Mon, 11 Sep 2023 12:35:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 12:49:54.924830
• Title: FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes
• Title（参考訳）: FlowIBR: 動的シーンの効率的なニューラルイメージベースレンダリングのための事前学習
• Authors: Marcel B\"usching, Josef Bengtson, David Nilsson, M{\aa}rten Bj\"orkman
• Abstract要約: 動的シーンのモノクラー・ノウ・ビュー・シンセサイザーのための新しいアプローチを提案する。 FlowIBRは,広く利用可能な静的シーンの大規模なコーパスで事前学習した,ニューラル画像に基づくレンダリング手法を統合する。 我々は、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのようにダイナミックなシーンを提示する。
• 参考スコア（独自算出の注目度）: 1.1470070927586018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel approach for monocular novel view synthesis of dynamic scenes. Existing techniques already show impressive rendering quality but tend to focus on optimization within a single scene without leveraging prior knowledge. This limitation has been primarily attributed to the lack of datasets of dynamic scenes available for training and the diversity of scene dynamics. Our method FlowIBR circumvents these issues by integrating a neural image-based rendering method, pre-trained on a large corpus of widely available static scenes, with a per-scene optimized scene flow field. Utilizing this flow field, we bend the camera rays to counteract the scene dynamics, thereby presenting the dynamic scene as if it were static to the rendering network. The proposed method reduces per-scene optimization time by an order of magnitude, achieving comparable results to existing methods - all on a single consumer-grade GPU.
• Abstract（参考訳）: 本稿では,動的シーンの単眼的新規ビュー合成のための新しいアプローチを提案する。 既存の技術はすでに印象的なレンダリング品質を示していますが、事前の知識を生かさずに単一のシーン内で最適化することに重点を置いています。 この制限は、トレーニング用に利用可能な動的シーンのデータセットの欠如と、シーンダイナミクスの多様性に起因する。 筆者らのFlowIBRでは,広範に利用可能な静的シーンのコーパスを事前学習したニューラルイメージベースのレンダリング手法を,シーン毎に最適化されたシーンフローフィールドと組み合わせることで,これらの問題を回避している。 この流れ場を利用することで、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのように動的シーンを提示する。 提案手法は,1つのコンシューマグレードのGPU上で,既存の手法に匹敵する結果が得られるため,シーンごとの最適化時間を桁違いに短縮する。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Stylizing Sparse-View 3D Scenes with Hierarchical Neural Representation [0.0]
  事前訓練されたニューラル放射場(NeRF)のシーン再構成力を利用する3Dスタイルのトランスファー手法の急増が提案されている。 本稿では,コンテンツセマンティクスとスタイルテクスチャの分離の観点から,スパースビューシーンのスタイリングについて考察する。 新しい階層的エンコーディングに基づくニューラル表現は、暗黙のシーン表現から直接高品質なスタイリングされたシーンを生成するように設計されている。
  論文  参考訳（メタデータ） (2024-04-08T07:01:42Z)
• Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
  本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。 本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
  論文  参考訳（メタデータ） (2024-03-29T21:52:01Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• NPBG++: Accelerating Neural Point-Based Graphics [14.366073496519139]
  NPBG++は、シーンフィッティング時間の少ない高レンダリングリアリズムを実現する新しいビュー合成(NVS)タスクである。 本手法は,静的シーンのマルチビュー観測と点雲を効率よく利用し,各点のニューラルディスクリプタを予測する。 比較において、提案システムは、類似した画質の画像を生成しながら、ランタイムの適合とレンダリングの観点から、従来のNVSアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2022-03-24T19:59:39Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。