論文の概要: LiveView: Dynamic Target-Centered MPI for View Synthesis

• arxiv url: http://arxiv.org/abs/2107.05113v1
• Date: Sun, 11 Jul 2021 19:01:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 15:58:20.057183
• Title: LiveView: Dynamic Target-Centered MPI for View Synthesis
• Title（参考訳）: LiveView:ビュー合成のための動的ターゲット中心型MPI
• Authors: Sushobhan Ghosh, Zhaoyang Lv, Nathan Matsuda, Lei Xiao, Andrew Berkovich, Oliver Cossairt
• Abstract要約: LiveViewは、リアルタイムに高品質なビュー合成を生成する新しいMPI生成およびレンダリング技術である。 我々はLiveViewが、最先端のMPIベースの手法に比べて、実行時の70倍高速で、ビュー合成の品質を向上させることを実証した。
• 参考スコア（独自算出の注目度）: 11.654168846532528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Multi-Plane Image (MPI) based view-synthesis methods generate an MPI aligned with the input view using a fixed number of planes in one forward pass. These methods produce fast, high-quality rendering of novel views, but rely on slow and computationally expensive MPI generation methods unsuitable for real-time applications. In addition, most MPI techniques use fixed depth/disparity planes which cannot be modified once the training is complete, hence offering very little flexibility at run-time. We propose LiveView - a novel MPI generation and rendering technique that produces high-quality view synthesis in real-time. Our method can also offer the flexibility to select scene-dependent MPI planes (number of planes and spacing between them) at run-time. LiveView first warps input images to target view (target-centered) and then learns to generate a target view centered MPI, one depth plane at a time (dynamically). The method generates high-quality renderings, while also enabling fast MPI generation and novel view synthesis. As a result, LiveView enables real-time view synthesis applications where an MPI needs to be updated frequently based on a video stream of input views. We demonstrate that LiveView improves the quality of view synthesis while being 70 times faster at run-time compared to state-of-the-art MPI-based methods.
• Abstract（参考訳）: 既存のMulti-Plane Image (MPI) ベースのビュー合成手法は、1つの前方通過で固定された平面数を用いて入力ビューに整列したMPIを生成する。 これらの手法は、新しいビューの高速で高品質なレンダリングを生成するが、リアルタイムアプリケーションには適さない低速で計算コストの高いmpi生成メソッドに依存している。 加えて、ほとんどのMPI技術はトレーニングが完了すると修正できない固定深度/不均一平面を使用しているため、実行時の柔軟性は極めて低い。 リアルタイムに高品質なビュー合成を実現する新しいMPI生成・レンダリング技術であるLiveViewを提案する。 また,実行時にシーン依存型MPI平面(平面数と間隔)を選択するための柔軟性も提供する。 liveviewはまず、入力画像をターゲットビュー(ターゲット中心)にワープし、次に目標ビュー中心のmpi、つまり1つの深さプレーン(動的に)を生成する。 高速なMPI生成と新規なビュー合成を可能にするとともに、高品質なレンダリングを生成する。 その結果、LiveViewは、入力ビューのビデオストリームに基づいて、MPIを頻繁に更新する必要があるリアルタイムビュー合成アプリケーションを可能にする。 我々はLiveViewが、最先端のMPIベースの手法に比べて、実行時の70倍高速で、ビュー合成の品質を向上させることを実証した。

関連論文リスト

• Real-Time Position-Aware View Synthesis from Single-View Input [3.2873782624127834]
  本稿では,1つの入力画像とターゲットポーズからリアルタイムなビュー合成を実現する軽量な位置認識ネットワークを提案する。 この作業は、ライブおよびインタラクティブなアプリケーションのために、単一の画像からリアルタイムのビュー合成を可能にするための一歩となる。
  論文  参考訳（メタデータ） (2024-12-18T16:20:21Z)
• MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending [61.45757368117578]
  本稿では,多平面画像(MPI)に基づく神経放射場のフレキシブルな表現について述べる。 MPIは、単純な定義、簡単な計算、非有界シーンを表現する強力な能力のために、NeRF学習で広く使われている。 MPIは複雑なシーンを多種多様なカメラ分布と視野方向で合成できることを示す。
  論文  参考訳（メタデータ） (2023-09-30T04:36:43Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Real-Time Neural Character Rendering with Pose-Guided Multiplane Images [75.62730144924566]
  リアルなシーンでアニマタブルなキャラクタをフォトリアリスティックな画質でレンダリングできるポーズ誘導多面体画像(MPI)合成を提案する。 我々は、移動物体の駆動信号とともに多視点画像をキャプチャするために、ポータブルカメラリグを使用します。
  論文  参考訳（メタデータ） (2022-04-25T17:51:38Z)
• Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
  アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。 以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。 単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
  論文  参考訳（メタデータ） (2022-02-24T14:20:04Z)
• Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling via Temporal Basis Learning [6.952039070065292]
  ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間的ベースとしてエンコードできる新しいテンポラルMPI表現を提案する。 提案するTemporal-MPIフレームワークは,従来の動的シーンモデリングフレームワークと比較して最大3000倍高速な,0.002秒のタイムスタンスMPIを生成することができる。
  論文  参考訳（メタデータ） (2021-11-20T07:34:28Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• Compact and adaptive multiplane images for view synthesis [4.924126492174801]
  利用可能なメモリを最適化して,コンパクトかつ適応的なMPIを描画する学習手法を提案する。 我々のMPIは余分な情報を避け、シーン形状を考慮し、深度サンプリングを決定する。
  論文  参考訳（メタデータ） (2021-02-19T18:39:43Z)
• Learning light field synthesis with Multi-Plane Images: scene encoding as a recurrent segmentation task [30.058283056074426]
  本稿では、入力ビューのスパースセットを多面画像(MPI)に変換することで、大規模なベースライン光場からのビュー合成の問題に対処する。 利用可能なデータセットは少ないため、広範なトレーニングを必要としない軽量ネットワークを提案する。 我々のモデルは、RGB層を推定することを学ぶのではなく、MPIアルファ層内のシーン幾何学を符号化するだけであり、それはセグメンテーションタスクに帰着する。
  論文  参考訳（メタデータ） (2020-02-12T14:35:54Z)
• An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
  Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。 我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。 予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
  論文  参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。