論文の概要: State of the Art on Neural Rendering
- arxiv url: http://arxiv.org/abs/2004.03805v1
- Date: Wed, 8 Apr 2020 04:36:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 09:30:32.872348
- Title: State of the Art on Neural Rendering
- Title（参考訳）: ニューラルレンダリング技術の現状
- Authors: Ayush Tewari, Ohad Fried, Justus Thies, Vincent Sitzmann, Stephen
Lombardi, Kalyan Sunkavalli, Ricardo Martin-Brualla, Tomas Simon, Jason
Saragih, Matthias Nie{\ss}ner, Rohit Pandey, Sean Fanello, Gordon Wetzstein,
Jun-Yan Zhu, Christian Theobalt, Maneesh Agrawala, Eli Shechtman, Dan B
Goldman, Michael Zollh\"ofer
- Abstract要約: 我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
- 参考スコア（独自算出の注目度）: 141.22760314536438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient rendering of photo-realistic virtual worlds is a long standing
effort of computer graphics. Modern graphics techniques have succeeded in
synthesizing photo-realistic images from hand-crafted scene representations.
However, the automatic generation of shape, materials, lighting, and other
aspects of scenes remains a challenging problem that, if solved, would make
photo-realistic computer graphics more widely accessible. Concurrently,
progress in computer vision and machine learning have given rise to a new
approach to image synthesis and editing, namely deep generative models. Neural
rendering is a new and rapidly emerging field that combines generative machine
learning techniques with physical knowledge from computer graphics, e.g., by
the integration of differentiable rendering into network training. With a
plethora of applications in computer graphics and vision, neural rendering is
poised to become a new area in the graphics community, yet no survey of this
emerging field exists. This state-of-the-art report summarizes the recent
trends and applications of neural rendering. We focus on approaches that
combine classic computer graphics techniques with deep generative models to
obtain controllable and photo-realistic outputs. Starting with an overview of
the underlying computer graphics and machine learning concepts, we discuss
critical aspects of neural rendering approaches. This state-of-the-art report
is focused on the many important use cases for the described algorithms such as
novel view synthesis, semantic photo manipulation, facial and body reenactment,
relighting, free-viewpoint video, and the creation of photo-realistic avatars
for virtual and augmented reality telepresence. Finally, we conclude with a
discussion of the social implications of such technology and investigate open
research problems.
- Abstract（参考訳）: 写真リアルな仮想世界の効率的なレンダリングは、コンピュータグラフィックスの長年の取り組みである。
現代のグラフィック技術は、手作りのシーン表現から写真リアルなイメージを合成することに成功している。
しかし、シーンの形状、材料、照明、その他の側面の自動生成は、解決すればフォトリアリスティックなコンピュータグラフィックスをより広くアクセス可能なものにする難題であり続けている。
同時に、コンピュータビジョンと機械学習の進歩は、画像合成と編集に対する新しいアプローチ、すなわち深層生成モデルを生み出した。
ニューラルレンダリング(neural rendering)は、ジェネレーティブな機械学習技術とコンピュータグラフィックスからの物理的知識、例えば、微分可能なレンダリングとネットワークトレーニングの統合を組み合わせた、新しい、急速に発展している分野である。
コンピュータグラフィックスとビジョンの多くのアプリケーションによって、ニューラルレンダリングはグラフィックコミュニティの新たな領域になりつつありますが、この新興分野に関する調査は存在しません。
この最先端のレポートは、ニューラルレンダリングの最近のトレンドと応用を要約している。
従来のコンピュータグラフィックス技術と深い生成モデルを組み合わせて、制御可能でフォトリアリスティックなアウトプットを得るアプローチに注目した。
基礎となるコンピュータグラフィックスと機械学習の概念の概要から始め、ニューラルレンダリングアプローチの重要な側面について論じる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点を当てる。
最後に,このような技術の社会的意義について議論し,オープン研究の課題について考察する。
関連論文リスト
- Recent Trends in 3D Reconstruction of General Non-Rigid Scenes [104.07781871008186]
コンピュータグラフィックスやコンピュータビジョンにおいて、3次元幾何学、外観、実際のシーンの動きを含む現実世界のモデルの再構築が不可欠である。
これは、映画産業やAR/VRアプリケーションに有用な、フォトリアリスティックなノベルビューの合成を可能にする。
この最新技術レポート(STAR)は、モノクロおよびマルチビュー入力による最新技術の概要を読者に提供する。
論文 参考訳（メタデータ） (2024-03-22T09:46:11Z) - Neural Rendering and Its Hardware Acceleration: A Review [39.6466512858213]
ニューラルレンダリングはディープラーニングに基づく新しい画像およびビデオ生成手法である。
本稿では,ニューラルレンダリングの技術的意味,主な課題,研究の進歩について概説する。
論文 参考訳（メタデータ） (2024-01-06T07:57:11Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Real-time Virtual-Try-On from a Single Example Image through Deep
Inverse Graphics and Learned Differentiable Renderers [13.894134334543363]
本稿では,リアルタイム逆グラフィックエンコーダを構築するためのディープラーニングに基づく新しいフレームワークを提案する。
我々の模倣者は、与えられた非微分可能画像の振舞いを正確に再現することを学ぶ生成ネットワークである。
我々のフレームワークは、消費者がインスピレーション付き参照画像から未知の商品を仮想的に試すことのできる新しいアプリケーションを可能にする。
論文 参考訳（メタデータ） (2022-05-12T18:44:00Z) - Neural Fields in Visual Computing and Beyond [54.950885364735804]
機械学習の最近の進歩は、座標ベースニューラルネットワークを用いた視覚コンピューティング問題の解決への関心が高まっている。
ニューラルネットワークは、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定に成功している。
本報告は、文脈、数学的基礎、および、ニューラルネットワークに関する文献の広範なレビューを提供する。
論文 参考訳（メタデータ） (2021-11-22T18:57:51Z) - Advances in Neural Rendering [115.05042097988768]
本稿では,古典的レンダリングと学習された3Dシーン表現を組み合わせた手法について述べる。
これらの手法の重要な利点は、これらが3D一貫性を持ち、キャプチャされたシーンの新たな視点のようなアプリケーションを可能にすることである。
静的なシーンを扱う方法に加えて、非厳密な変形オブジェクトをモデル化するためのニューラルシーン表現についても取り上げる。
論文 参考訳（メタデータ） (2021-11-10T18:57:01Z) - Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。
われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。
そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-28T18:55:50Z) - High Resolution Zero-Shot Domain Adaptation of Synthetically Rendered
Face Images [10.03187850132035]
本稿では,非フォトリアリスティックな合成画像と事前学習したStyleGAN2モデルの潜在ベクトルとをマッチングするアルゴリズムを提案する。
これまでのほとんどの研究とは対照的に、私たちは合成トレーニングデータを必要としない。
このアルゴリズムは、1Kの解像度で作業する最初のアルゴリズムであり、視覚リアリズムにおける大きな飛躍を表している。
論文 参考訳（メタデータ） (2020-06-26T15:00:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。