論文の概要: FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from
Sparse Views
- arxiv url: http://arxiv.org/abs/2303.14368v1
- Date: Sat, 25 Mar 2023 05:47:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:08:50.893383
- Title: FlexNeRF: Photorealistic Free-viewpoint Rendering of Moving Humans from
Sparse Views
- Title（参考訳）: FlexNeRF: まばらな視点から動く人間のフォトリアリスティックな自由視点レンダリング
- Authors: Vinoj Jayasundara, Amit Agrawal, Nicolas Heron, Abhinav Shrivastava,
Larry S. Davis
- Abstract要約: 本稿では,モノクラー映像からの人間の動きの光リアルなフリービューポイントレンダリング法FlexNeRFを提案する。
提案手法は,被験者が高速/複雑動作を示す場合の難解なシナリオであるスパースビューとうまく連携する。
我々の新しい時間的および周期的一貫性の制約のおかげで、観察されたビューがスペーサーになるにつれて、我々のアプローチは高品質な出力を提供する。
- 参考スコア（独自算出の注目度）: 71.77680030806513
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present FlexNeRF, a method for photorealistic freeviewpoint rendering of
humans in motion from monocular videos. Our approach works well with sparse
views, which is a challenging scenario when the subject is exhibiting
fast/complex motions. We propose a novel approach which jointly optimizes a
canonical time and pose configuration, with a pose-dependent motion field and
pose-independent temporal deformations complementing each other. Thanks to our
novel temporal and cyclic consistency constraints along with additional losses
on intermediate representation such as segmentation, our approach provides high
quality outputs as the observed views become sparser. We empirically
demonstrate that our method significantly outperforms the state-of-the-art on
public benchmark datasets as well as a self-captured fashion dataset. The
project page is available at: https://flex-nerf.github.io/
- Abstract（参考訳）: 本稿では,モノクラー映像からの人間の動きの光リアルなフリービューポイントレンダリング法FlexNeRFを提案する。
提案手法は,被験者が高速/複雑動作を示す場合の難解なシナリオであるスパースビューとうまく連携する。
本研究では,ポーズ依存の運動場とポーズ非依存の時間変形を相補し,標準時間とポーズ構成を協調的に最適化する手法を提案する。
セグメンテーションなどの中間表現の損失を増大させるとともに,新たな時間的および周期的一貫性制約により,観察したビューがスパーザーになるにつれて高品質な出力を提供する。
我々は,この手法が,公開ベンチマークデータセットや自己取得型ファッションデータセットよりも優れていることを実証的に証明した。
プロジェクトページは、https://flex-nerf.github.io/で利用可能である。
関連論文リスト
- D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳（メタデータ） (2024-06-06T03:37:39Z) - Explorative Inbetweening of Time and Space [46.77750028273578]
与えられた開始フレームと終了フレームのみに基づいて映像生成を制御するために境界生成を導入する。
Time Reversal Fusionは、開始フレームと終了フレームに条件付けられた時間的に前方および後方にデノナイジングパスを融合する。
Time Reversal Fusionは、すべてのサブタスクにおける関連する作業よりも優れています。
論文 参考訳（メタデータ） (2024-03-21T17:57:31Z) - DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。
入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
論文 参考訳（メタデータ） (2024-03-15T08:48:37Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳（メタデータ） (2024-01-10T00:40:05Z) - Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。
本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。
本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:55:48Z) - SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。
提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
論文 参考訳（メタデータ） (2022-11-21T18:57:47Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - DeFMO: Deblurring and Shape Recovery of Fast Moving Objects [139.67524021201103]
生成モデルは、ぼやけたオブジェクトのイメージを潜在空間表現に埋め込み、背景を歪め、シャープな外観を描画する。
DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
論文 参考訳（メタデータ） (2020-12-01T16:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。