論文の概要: HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling
- arxiv url: http://arxiv.org/abs/2301.02238v2
- Date: Mon, 29 May 2023 18:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 01:58:48.826726
- Title: HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling
- Title（参考訳）: hyperreel:レイコンサンプリング付き高忠実度6dofビデオ
- Authors: Benjamin Attal, Jia-Bin Huang, Christian Richardt, Michael Zollhoefer,
Johannes Kopf, Matthew O'Toole, Changil Kim
- Abstract要約: 提案するHyperReelは,新しい6-DoFビデオ表現である。
The two core components of HyperReel is a ray-conditioned sample prediction network which allow a high-fidelity, high frame rate rendering at high resolution and (2) compact and memory- efficient dynamic volume representation。
- 参考スコア（独自算出の注目度）: 60.90470761333465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Volumetric scene representations enable photorealistic view synthesis for
static scenes and form the basis of several existing 6-DoF video techniques.
However, the volume rendering procedures that drive these representations
necessitate careful trade-offs in terms of quality, rendering speed, and memory
efficiency. In particular, existing methods fail to simultaneously achieve
real-time performance, small memory footprint, and high-quality rendering for
challenging real-world scenes. To address these issues, we present HyperReel --
a novel 6-DoF video representation. The two core components of HyperReel are:
(1) a ray-conditioned sample prediction network that enables high-fidelity,
high frame rate rendering at high resolutions and (2) a compact and
memory-efficient dynamic volume representation. Our 6-DoF video pipeline
achieves the best performance compared to prior and contemporary approaches in
terms of visual quality with small memory requirements, while also rendering at
up to 18 frames-per-second at megapixel resolution without any custom CUDA
code.
- Abstract（参考訳）: ボリュームシーン表現は静的シーンのフォトリアリスティックなビュー合成を可能にし、既存の6-DoFビデオ技術の基礎を形成する。
しかし、これらの表現を駆動するボリュームレンダリング手順は、品質、レンダリング速度、メモリ効率に関して慎重なトレードオフを必要とする。
特に、既存のメソッドは、リアルタイムパフォーマンス、小さなメモリフットプリント、現実世界のシーンに挑戦するための高品質なレンダリングを同時に達成することができない。
これらの問題に対処するために,新しい6-DoFビデオ表現HyperReelを提案する。
ハイパーリールの2つのコアコンポーネントは、(1)高精細で高フレームレートのレンダリングを可能にするレイコンディショニングされたサンプル予測ネットワーク、(2)コンパクトでメモリ効率の良い動的ボリューム表現である。
私たちの6dofビデオパイプラインは、小さなメモリ要件による視覚品質の面では、以前のものよりも優れたパフォーマンスを実現していますが、カスタムcudaコードなしでは最大18フレーム/秒のメガピクセル解像度でレンダリングできます。
関連論文リスト
- Fast and Memory-Efficient Video Diffusion Using Streamlined Inference [41.505829393818274]
現在のビデオ拡散モデルは、計算要求と高いピークメモリ使用量を示す。
本稿では,映像拡散モデルの時間的・空間的特性を利用したストリーム線形推論を提案する。
我々のアプローチはピークメモリと計算オーバーヘッドを大幅に削減し、単一のコンシューマGPU上で高品質なビデオを生成することができる。
論文 参考訳（メタデータ） (2024-11-02T07:52:18Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳（メタデータ） (2024-02-27T11:40:50Z) - Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video
Conferencing via Implicit Radiance Fields [42.926554334378984]
高忠実度と低帯域幅はビデオ会議アプリケーションにおけるビデオ圧縮の2つの主要な目的である。
本稿では,高忠実度映像会議のための新しい低帯域幅ニューラル圧縮手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T14:29:13Z) - VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。
特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。
我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
論文 参考訳（メタデータ） (2023-12-03T14:14:35Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳（メタデータ） (2023-06-13T17:52:23Z) - SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。
まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。
提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
論文 参考訳（メタデータ） (2022-12-15T00:02:36Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z) - Super-Resolution Appearance Transfer for 4D Human Performances [29.361342747786164]
多視点ビデオからの4D再構成における一般的な問題は、キャプチャーされた動的テクスチャの外観の品質である。
静的な高解像度の外観キャプチャ・リグから超高解像度の外観伝達による解を提案する。
論文 参考訳（メタデータ） (2021-08-31T10:53:11Z) - Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。
本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。
我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
論文 参考訳（メタデータ） (2020-02-27T14:18:12Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。