論文の概要: Neural Rendering and Its Hardware Acceleration: A Review
- arxiv url: http://arxiv.org/abs/2402.00028v1
- Date: Sat, 6 Jan 2024 07:57:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-04 05:23:01.971102
- Title: Neural Rendering and Its Hardware Acceleration: A Review
- Title（参考訳）: ニューラルレンダリングとそのハードウェアアクセラレーション
- Authors: Xinkai Yan, Jieting Xu, Yuchi Huo, Hujun Bao
- Abstract要約: ニューラルレンダリングはディープラーニングに基づく新しい画像およびビデオ生成手法である。
本稿では,ニューラルレンダリングの技術的意味,主な課題,研究の進歩について概説する。
- 参考スコア（独自算出の注目度）: 39.6466512858213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural rendering is a new image and video generation method based on deep
learning. It combines the deep learning model with the physical knowledge of
computer graphics, to obtain a controllable and realistic scene model, and
realize the control of scene attributes such as lighting, camera parameters,
posture and so on. On the one hand, neural rendering can not only make full use
of the advantages of deep learning to accelerate the traditional forward
rendering process, but also provide new solutions for specific tasks such as
inverse rendering and 3D reconstruction. On the other hand, the design of
innovative hardware structures that adapt to the neural rendering pipeline
breaks through the parallel computing and power consumption bottleneck of
existing graphics processors, which is expected to provide important support
for future key areas such as virtual and augmented reality, film and television
creation and digital entertainment, artificial intelligence and the metaverse.
In this paper, we review the technical connotation, main challenges, and
research progress of neural rendering. On this basis, we analyze the common
requirements of neural rendering pipeline for hardware acceleration and the
characteristics of the current hardware acceleration architecture, and then
discuss the design challenges of neural rendering processor architecture.
Finally, the future development trend of neural rendering processor
architecture is prospected.
- Abstract（参考訳）: neural renderingは、ディープラーニングに基づく新しい画像およびビデオ生成方法である。
深層学習モデルとコンピュータグラフィックスの物理知識を組み合わせて、制御可能で現実的なシーンモデルを取得し、照明、カメラパラメータ、姿勢などのシーン特性の制御を実現する。
一方で、ニューラルネットワークは、従来のフォワードレンダリングプロセスを加速するためにディープラーニングの利点をフル活用できるだけでなく、逆レンダリングや3d再構成のような特定のタスクのための新しいソリューションを提供することができる。
一方、ニューラルレンダリングパイプラインに適応する革新的なハードウェア構造の設計は、既存のグラフィックスプロセッサの並列コンピューティングと消費電力のボトルネックを突破し、仮想現実や拡張現実、映画やテレビの制作、デジタルエンターテイメント、人工知能、メタバースといった将来の重要な領域に重要なサポートを提供すると期待されている。
本稿では,ニューラルレンダリングの技術的意味,主な課題,研究の進展について概説する。
そこで本研究では,ハードウェアアクセラレーションのためのニューラルレンダリングパイプラインの共通要件と,現在のハードウェアアクセラレーションアーキテクチャの特徴を分析し,ニューラルレンダリングプロセッサアーキテクチャの設計課題について議論する。
最後に、ニューラルレンダリングプロセッサアーキテクチャの今後の開発動向を展望する。
関連論文リスト
- Recent Trends in 3D Reconstruction of General Non-Rigid Scenes [104.07781871008186]
コンピュータグラフィックスやコンピュータビジョンにおいて、3次元幾何学、外観、実際のシーンの動きを含む現実世界のモデルの再構築が不可欠である。
これは、映画産業やAR/VRアプリケーションに有用な、フォトリアリスティックなノベルビューの合成を可能にする。
この最新技術レポート(STAR)は、モノクロおよびマルチビュー入力による最新技術の概要を読者に提供する。
論文 参考訳（メタデータ） (2024-03-22T09:46:11Z) - Artificial intelligence optical hardware empowers high-resolution
hyperspectral video understanding at 1.2 Tb/s [53.91923493664551]
本研究は,多次元映像理解のためのハードウェアアクセラレーション型集積光電子プラットフォームをリアルタイムに導入する。
この技術プラットフォームは、人工知能ハードウェアと光学的に情報を処理し、最先端のマシンビジョンネットワークを組み合わせる。
このような性能は、類似のスペクトル分解能を持つ最も近い技術の速度を3～4等級で上回る。
論文 参考訳（メタデータ） (2023-12-17T07:51:38Z) - ENVIDR: Implicit Differentiable Renderer with Neural Environment
Lighting [9.145875902703345]
ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。
まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。
次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
論文 参考訳（メタデータ） (2023-03-23T04:12:07Z) - FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks [33.489890950757975]
FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。
我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
論文 参考訳（メタデータ） (2022-09-20T19:48:56Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - Efficient Neural Architecture Search with Performance Prediction [0.0]
ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。
既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。
サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
論文 参考訳（メタデータ） (2021-08-04T05:44:16Z) - Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。
われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。
そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-28T18:55:50Z) - Deep Direct Volume Rendering: Learning Visual Feature Mappings From
Exemplary Images [57.253447453301796]
本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。
潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。
我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
論文 参考訳（メタデータ） (2021-06-09T23:03:00Z) - State of the Art on Neural Rendering [141.22760314536438]
我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
論文 参考訳（メタデータ） (2020-04-08T04:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。