論文の概要: HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling

• arxiv url: http://arxiv.org/abs/2301.02238v2
• Date: Mon, 29 May 2023 18:35:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 01:58:48.826726
• Title: HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling
• Title（参考訳）: hyperreel:レイコンサンプリング付き高忠実度6dofビデオ
• Authors: Benjamin Attal, Jia-Bin Huang, Christian Richardt, Michael Zollhoefer, Johannes Kopf, Matthew O'Toole, Changil Kim
• Abstract要約: 提案するHyperReelは,新しい6-DoFビデオ表現である。 The two core components of HyperReel is a ray-conditioned sample prediction network which allow a high-fidelity, high frame rate rendering at high resolution and (2) compact and memory- efficient dynamic volume representation。
• 参考スコア（独自算出の注目度）: 60.90470761333465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Volumetric scene representations enable photorealistic view synthesis for static scenes and form the basis of several existing 6-DoF video techniques. However, the volume rendering procedures that drive these representations necessitate careful trade-offs in terms of quality, rendering speed, and memory efficiency. In particular, existing methods fail to simultaneously achieve real-time performance, small memory footprint, and high-quality rendering for challenging real-world scenes. To address these issues, we present HyperReel -- a novel 6-DoF video representation. The two core components of HyperReel are: (1) a ray-conditioned sample prediction network that enables high-fidelity, high frame rate rendering at high resolutions and (2) a compact and memory-efficient dynamic volume representation. Our 6-DoF video pipeline achieves the best performance compared to prior and contemporary approaches in terms of visual quality with small memory requirements, while also rendering at up to 18 frames-per-second at megapixel resolution without any custom CUDA code.
• Abstract（参考訳）: ボリュームシーン表現は静的シーンのフォトリアリスティックなビュー合成を可能にし、既存の6-DoFビデオ技術の基礎を形成する。 しかし、これらの表現を駆動するボリュームレンダリング手順は、品質、レンダリング速度、メモリ効率に関して慎重なトレードオフを必要とする。 特に、既存のメソッドは、リアルタイムパフォーマンス、小さなメモリフットプリント、現実世界のシーンに挑戦するための高品質なレンダリングを同時に達成することができない。 これらの問題に対処するために,新しい6-DoFビデオ表現HyperReelを提案する。 ハイパーリールの2つのコアコンポーネントは、(1)高精細で高フレームレートのレンダリングを可能にするレイコンディショニングされたサンプル予測ネットワーク、(2)コンパクトでメモリ効率の良い動的ボリューム表現である。 私たちの6dofビデオパイプラインは、小さなメモリ要件による視覚品質の面では、以前のものよりも優れたパフォーマンスを実現していますが、カスタムcudaコードなしでは最大18フレーム/秒のメガピクセル解像度でレンダリングできます。

関連論文リスト

• Representing Long Volumetric Video with Temporal Gaussian Hierarchy [80.51373034419379]
  本稿では,多視点RGBビデオから長いボリューム映像を再構成することの課題を解決することを目的とする。 本稿では,テンポラルガウス階層(Temporal Gaussian Hierarchy)と呼ばれる新しい4次元表現を提案する。 この研究は、最先端のレンダリング品質を維持しながら、ボリュームビデオデータの分を効率的に処理できる最初のアプローチである。
  論文  参考訳（メタデータ） (2024-12-12T18:59:34Z)
• Elevating Flow-Guided Video Inpainting with Reference Generation [50.03502211226332]
  ビデオインパインティング(VI)は、フレーム間で観測可能なコンテンツを効果的に伝播させながら、オリジナルビデオに存在しない新しいコンテンツを同時に生成する必要がある課題である。 本稿では,より進んだ画素伝搬アルゴリズムと組み合わせて,参照生成のための大規模な生成モデルを活用する,堅牢で実用的なVIフレームワークを提案する。 提案手法は,オブジェクト削除のためのフレームレベルの品質を著しく向上するだけでなく,ユーザが提供するテキストプロンプトに基づいて,欠落した領域の新たなコンテンツを合成する。
  論文  参考訳（メタデータ） (2024-12-12T06:13:00Z)
• Resolution-Agnostic Neural Compression for High-Fidelity Portrait Video Conferencing via Implicit Radiance Fields [42.926554334378984]
  高忠実度と低帯域幅はビデオ会議アプリケーションにおけるビデオ圧縮の2つの主要な目的である。 本稿では,高忠実度映像会議のための新しい低帯域幅ニューラル圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:29:13Z)
• VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
  VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。 特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。 我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
  論文  参考訳（メタデータ） (2023-12-03T14:14:35Z)
• Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
  本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。 我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
  論文  参考訳（メタデータ） (2023-06-13T17:52:23Z)
• SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
  本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。 まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。 提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-12-15T00:02:36Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Super-Resolution Appearance Transfer for 4D Human Performances [29.361342747786164]
  多視点ビデオからの4D再構成における一般的な問題は、キャプチャーされた動的テクスチャの外観の品質である。 静的な高解像度の外観キャプチャ・リグから超高解像度の外観伝達による解を提案する。
  論文  参考訳（メタデータ） (2021-08-31T10:53:11Z)
• Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
  現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。 本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。 我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
  論文  参考訳（メタデータ） (2020-02-27T14:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。