論文の概要: Real-Time Neural Materials using Block-Compressed Features
- arxiv url: http://arxiv.org/abs/2311.16121v2
- Date: Sun, 18 Feb 2024 02:41:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 04:35:05.079722
- Title: Real-Time Neural Materials using Block-Compressed Features
- Title（参考訳）: ブロック圧縮特徴を用いたリアルタイム神経材料
- Authors: Cl\'ement Weinreich, Louis de Oliveira, Antoine Houdard, Georges Nader
- Abstract要約: 本稿では、リアルタイムレンダリングパイプラインで使用するように設計された特徴量とデコーダを備えたニューラルマテリアルモデルを提案する。
我々のフレームワークはハードウェアベースのブロック圧縮(BC)テクスチャフォーマットを利用して学習した特徴を記憶し、そのモデルに空間と規模で連続的に材料情報を出力するように訓練する。
- 参考スコア（独自算出の注目度）: 0.8520624117635328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural materials typically consist of a collection of neural features along
with a decoder network. The main challenge in integrating such models in
real-time rendering pipelines lies in the large size required to store their
features in GPU memory and the complexity of evaluating the network
efficiently. We present a neural material model whose features and decoder are
specifically designed to be used in real-time rendering pipelines. Our
framework leverages hardware-based block compression (BC) texture formats to
store the learned features and trains the model to output the material
information continuously in space and scale. To achieve this, we organize the
features in a block-based manner and emulate BC6 decompression during training,
making it possible to export them as regular BC6 textures. This structure
allows us to use high resolution features while maintaining a low memory
footprint. Consequently, this enhances our model's overall capability, enabling
the use of a lightweight and simple decoder architecture that can be evaluated
directly in a shader. Furthermore, since the learned features can be decoded
continuously, it allows for random uv sampling and smooth transition between
scales without needing any subsequent filtering. As a result, our neural
material has a small memory footprint, can be decoded extremely fast adding a
minimal computational overhead to the rendering pipeline.
- Abstract（参考訳）: 神経材料は典型的にはデコーダネットワークと共に神経特徴の集合から成る。
このようなモデルをリアルタイムレンダリングパイプラインに統合する上での大きな課題は、GPUメモリに機能を格納するために必要な大きなサイズと、ネットワークを効率的に評価する複雑性にある。
本稿では,機能とデコーダをリアルタイムレンダリングパイプライン用に特別に設計したニューラルマテリアルモデルを提案する。
我々のフレームワークはハードウェアベースのブロック圧縮(BC)テクスチャフォーマットを利用して学習した特徴を記憶し、そのモデルに空間と規模で連続的に材料情報を出力するように訓練する。
これを実現するため、ブロックベースで特徴を整理し、トレーニング中にBC6の圧縮をエミュレートし、通常のBC6テクスチャとしてエクスポートする。
この構造により、メモリフットプリントを低く保ちながら高解像度の機能を利用することができます。
これにより、モデル全体の能力が向上し、シェーダ内で直接評価可能な軽量でシンプルなデコーダアーキテクチャが利用可能になります。
さらに、学習した機能は継続的に復号化できるため、ランダムuvサンプリングとスケール間のスムーズな遷移を、その後のフィルタリングを必要とせずに実現することができる。
その結果、我々の神経材料はメモリフットプリントが小さく、非常に高速にデコードでき、レンダリングパイプラインに最小の計算オーバーヘッドを加えることができる。
関連論文リスト
- Plenoptic PNG: Real-Time Neural Radiance Fields in 150 KB [29.267039546199094]
本稿では,3次元シーンを2次元画像から非常にコンパクトな表現に符号化することを目的とする。
様々なプラットフォームでリアルタイムに送信、復号化、レンダリングを可能にする。
論文 参考訳（メタデータ） (2024-09-24T03:06:22Z) - N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。
N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。
本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文 参考訳（メタデータ） (2024-05-25T13:54:34Z) - Neural Graphics Texture Compression Supporting Random Access [34.974631096947284]
本稿では,従来のGPUテクスチャ表現とNIC技術を統合したテクスチャセット圧縮手法を提案する。
本稿では、畳み込みエンコーダを用いた非対称自動エンコーダフレームワークを提案する。
実験により,従来のテクスチャ圧縮よりも優れた結果が得られた。
論文 参考訳（メタデータ） (2024-05-06T19:44:13Z) - NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-04-02T15:49:00Z) - Volume Feature Rendering for Fast Neural Radiance Field Reconstruction [11.05302598034426]
ニューラルレイディアンス場(NeRF)は、異なる位置と視点から撮影された多視点画像から現実的な新しいビューを合成することができる。
NeRFのレンダリングパイプラインでは、ニューラルネットワークはシーンを独立して表現したり、期待される色や密度のポイントのクエリ可能な特徴ベクトルを変換するために使用される。
提案手法では,まず,まず線の特徴ベクトルを描画し,次にニューラルネットワークにより最終画素色に変換する。
論文 参考訳（メタデータ） (2023-05-29T06:58:27Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - HyperSeg: Patch-wise Hypernetwork for Real-time Semantic Segmentation [95.47168925127089]
本稿では,エンコーダがデコーダのパラメータ(重み)をエンコードして生成する,新しいリアルタイムセマンティックセグメンテーションネットワークを提案する。
我々は、より高レベルなコンテキスト特徴を描画するためのネストされたU-Netからなる新しいタイプのハイパーネットワークを設計する。
論文 参考訳（メタデータ） (2020-12-21T18:58:18Z) - Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。
様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。
フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文 参考訳（メタデータ） (2020-02-20T11:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。