論文の概要: Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader
Packing and Soft Rasterization
- arxiv url: http://arxiv.org/abs/2204.01386v1
- Date: Mon, 4 Apr 2022 11:07:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 16:30:09.517597
- Title: Dressi: A Hardware-Agnostic Differentiable Renderer with Reactive Shader
Packing and Soft Rasterization
- Title(参考訳): Dressi: リアクティブシェーダパッケージとソフトラスタライゼーションを備えたハードウェア非依存の差別化レンダリング
- Authors: Yusuke Takimoto, Hiroyuki Sato, Hikari Takehara, Keishiro Uragaki,
Takehiro Tawara, Xiao Liang, Kentaro Oku, Wataru Kishimoto, Bo Zheng
- Abstract要約: 微分可能レンダリング(DR)は、勾配に基づく最適化を通じて様々なコンピュータグラフィックスやコンピュータビジョンの応用を可能にする。
一般化ベースのアプローチは、汎用自動微分(AD)ライブラリと、実行時を使って手作りのDR固有のモジュールに基づいて構築されている。
ハードウェアに依存しないDressiという,新しいフルAD設計をベースとした,実用的なハードウェア非依存の差別化手法を提案する。
- 参考スコア(独自算出の注目度): 6.443504994276216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable rendering (DR) enables various computer graphics and computer
vision applications through gradient-based optimization with derivatives of the
rendering equation. Most rasterization-based approaches are built on
general-purpose automatic differentiation (AD) libraries and DR-specific
modules handcrafted using CUDA. Such a system design mixes DR algorithm
implementation and algorithm building blocks, resulting in hardware dependency
and limited performance. In this paper, we present a practical
hardware-agnostic differentiable renderer called Dressi, which is based on a
new full AD design. The DR algorithms of Dressi are fully written in our
Vulkan-based AD for DR, Dressi-AD, which supports all primitive operations for
DR. Dressi-AD and our inverse UV technique inside it bring hardware
independence and acceleration by graphics hardware. Stage packing, our runtime
optimization technique, can adapt hardware constraints and efficiently execute
complex computational graphs of DR with reactive cache considering the render
pass hierarchy of Vulkan. HardSoftRas, our novel rendering process, is designed
for inverse rendering with a graphics pipeline. Under the limited
functionalities of the graphics pipeline, HardSoftRas can propagate the
gradients of pixels from the screen space to far-range triangle attributes. Our
experiments and applications demonstrate that Dressi establishes hardware
independence, high-quality and robust optimization with fast speed, and
photorealistic rendering.
- Abstract(参考訳): 微分可能レンダリング(DR)は、勾配に基づく最適化を通じて様々なコンピュータグラフィックスやコンピュータビジョンの応用を可能にする。
ラスタライズに基づくほとんどのアプローチは、汎用自動微分(AD)ライブラリとCUDAを使って手作りのDR固有のモジュールに基づいている。
このようなシステム設計はDRアルゴリズムの実装とアルゴリズム構築ブロックを混合し、ハードウェア依存と性能の制限をもたらす。
本稿では,新しいフル広告デザインを基盤とした,ハードウェア非依存な微分可能レンダラである dressi を提案する。
DressiのDRアルゴリズムは、我々のVulkanベースのAD for DR、Dressi-ADで完全に書かれており、DRのすべてのプリミティブ操作をサポートしている。
ランタイム最適化技術であるステージパッキングは,ハードウェア制約に適応し,Vulkanのレンダリングパス階層を考慮したリアクティブキャッシュでDRの複雑な計算グラフを効率的に実行することができる。
私たちの新しいレンダリングプロセスであるHardSoftRasは、グラフィックパイプラインによる逆レンダリングのために設計されています。
グラフィックパイプラインの限られた機能の下では、ハードソフトラスは画面空間から遠方三角形属性へのピクセルの勾配を伝達することができる。
実験と応用により, dressiはハードウェアの独立性, 高速で高品質で堅牢な最適化, フォトリアリスティックなレンダリングを実現していることが示された。
関連論文リスト
- Mondrian: On-Device High-Performance Video Analytics with Compressive
Packed Inference [7.624476059109304]
Mondrianは、高解像度ビデオストリーム上で高性能なオブジェクト検出を可能にするエッジシステムである。
我々は,1ピクセルあたりの処理コストを最小限に抑えるために,新しい圧縮パッケージ推論を考案した。
論文 参考訳(メタデータ) (2024-03-12T12:35:12Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction
on Mobile Devices [55.95408465285477]
モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1~2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳(メタデータ) (2023-11-16T11:30:56Z) - Flexible Techniques for Differentiable Rendering with 3D Gaussians [29.602516169951556]
ニューラル・ラディアンス・フィールズ(Neural Radiance Fields)は、フォトリアリスティック・ノベルビューが到達範囲内にあることを示した。
特に3次元水密メッシュと1線当たりのレンダリングによる代替形状表現の拡張を開発した。
これらの再構築は高速で堅牢で、GPUやCPU上で容易に実行できる。
論文 参考訳(メタデータ) (2023-08-28T17:38:31Z) - INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order
Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。
InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。
1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
論文 参考訳(メタデータ) (2023-08-11T04:24:39Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳(メタデータ) (2023-07-11T17:58:31Z) - A High-Performance Accelerator for Super-Resolution Processing on
Embedded GPU [24.084304913250826]
組み込みデバイス上でのフルスタックSRアクセラレーションフレームワークを実装した。
ディープ辞書学習ベースのSRモデルにおける通信と計算のボトルネックは、完全に取り組まれている。
論文 参考訳(メタデータ) (2023-03-16T00:09:09Z) - RISP: Rendering-Invariant State Predictor with Differentiable Simulation
and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。
本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。
提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
論文 参考訳(メタデータ) (2022-05-11T17:59:51Z) - Dynamic Sampling Rate: Harnessing Frame Coherence in Graphics
Applications for Energy-Efficient GPUs [1.0433988610452742]
本研究は,グラフィックアプリケーションの冗長性を低減し,エネルギー効率を向上させるハードウェア機構である動的サンプリングレート(DSR)を提案する。
DSRで拡張された最先端のモバイルGPUアーキテクチャの性能を多種多様なアプリケーションで評価する。
論文 参考訳(メタデータ) (2022-02-21T21:15:14Z) - Deep Direct Volume Rendering: Learning Visual Feature Mappings From
Exemplary Images [57.253447453301796]
本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。
潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。
我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
論文 参考訳(メタデータ) (2021-06-09T23:03:00Z) - Modular Primitives for High-Performance Differentiable Rendering [37.12883917723895]
既存の高度に最適化されたグラフィックスパイプラインによる従来の手法よりも優れた性能を実現するモジュール式微分可能設計を提案する。
我々の設計は、多くの三角形、属性、フィルタされたテクスチャルックアップ、およびユーザプログラマブルシェーディングと幾何処理といった、現代のグラフィックパイプラインにおけるすべての重要な操作をサポートします。
論文 参考訳(メタデータ) (2020-11-06T10:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。