論文の概要: Instant Neural Representation for Interactive Volume Rendering
- arxiv url: http://arxiv.org/abs/2207.11620v1
- Date: Sat, 23 Jul 2022 23:04:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 15:53:37.234614
- Title: Instant Neural Representation for Interactive Volume Rendering
- Title(参考訳): インタラクティブボリュームレンダリングのためのインスタントニューラル表現
- Authors: Qi Wu, Michael J. Doyle, David Bauer, Kwan-Liu Ma
- Abstract要約: 本稿では,高能率かつ高忠実な対話型レイトレーシングを実現するために,容積的ニューラル表現を用いた手法を提案する。
オンライントレーニングのための3つの戦略を提示し、それぞれがGPU、CPU、コア外ストリーミングの異なる組み合わせを活用している。
また、インタラクティブなレイトレーシングをリアルタイムのボリュームデコードと組み合わせることができる3つのレンダリング実装を開発した。
- 参考スコア(独自算出の注目度): 29.797933404619606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks have shown great potential in compressing volumetric data for
scientific visualization. However, due to the high cost of training and
inference, such volumetric neural representations have thus far only been
applied to offline data processing and non-interactive rendering. In this
paper, we demonstrate that by simultaneously leveraging modern GPU tensor
cores, a native CUDA neural network framework, and online training, we can
achieve high-performance and high-fidelity interactive ray tracing using
volumetric neural representations. Additionally, our method is fully
generalizable and can adapt to time-varying datasets on-the-fly. We present
three strategies for online training with each leveraging a different
combination of the GPU, the CPU, and out-of-core-streaming techniques. We also
develop three rendering implementations that allow interactive ray tracing to
be coupled with real-time volume decoding, sample streaming, and in-shader
neural network inference. We demonstrate that our volumetric neural
representations can scale up to terascale for regular-grid volume
visualization, and can easily support irregular data structures such as
OpenVDB, unstructured, AMR, and particle volume data.
- Abstract(参考訳): ニューラルネットワークは、科学的可視化のために体積データを圧縮する大きな可能性を示している。
しかし、トレーニングや推論のコストが高いため、このようなボリュームニューラル表現はオフラインデータ処理や非インタラクティブレンダリングにしか適用されていない。
本稿では,最新のGPUテンソルコア,ネイティブCUDAニューラルネットワークフレームワーク,オンライントレーニングを同時に活用することにより,ボリュームニューラルネットワーク表現を用いた高性能かつ高忠実なインタラクティブレイトレーシングを実現することを実証する。
さらに,本手法は完全に一般化でき,オンザフライで時系列データセットに適応できる。
オンライントレーニングのための3つの戦略を提示し、それぞれがGPU、CPU、コア外ストリーミングの異なる組み合わせを活用している。
また,インタラクティブなレイトレーシングとリアルタイムボリュームデコード,サンプルストリーミング,シェーダ内ニューラルネットワーク推論を組み合わせた3つのレンダリング実装も開発した。
本研究は,本手法により,正規グリッドの容積可視化のためにテラスケールまで拡張可能であり,OpenVDB,unstructured,AMR,パーティクルボリュームデータなどの不規則なデータ構造を容易にサポートできることを実証する。
関連論文リスト
- N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。
N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。
本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文 参考訳(メタデータ) (2024-05-25T13:54:34Z) - Sophisticated deep learning with on-chip optical diffractive tensor
processing [5.081061839052458]
フォトニック集積回路は、電子回路によってもたらされる帯域制限と電力ウォールを緩和するための効率的なアプローチを提供する。
我々は、オンチップ回折により、光畳み込みユニット(OCU)と呼ばれる畳み込み加速度を実装する光学コンピューティングアーキテクチャを提案する。
OCUを基本単位として、光学畳み込みニューラルネットワーク(oCNN)を構築し、分類と回帰という2つの一般的なディープラーニングタスクを実装する。
論文 参考訳(メタデータ) (2022-12-20T03:33:26Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳(メタデータ) (2022-01-16T07:22:47Z) - AutoInt: Automatic Integration for Fast Neural Volume Rendering [51.46232518888791]
暗黙的ニューラル表現ネットワークを用いて、積分に対する効率的でクローズドな解を学習するための新しいフレームワークを提案する。
我々は,高速なニューラルボリュームレンダリングを実現するために,フォトリアリスティックな要件を10倍以上に改善したことを示す。
論文 参考訳(メタデータ) (2020-12-03T05:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。