論文の概要: CUDA-Optimized real-time rendering of a Foveated Visual System

• arxiv url: http://arxiv.org/abs/2012.08655v1
• Date: Tue, 15 Dec 2020 22:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 05:28:58.108221
• Title: CUDA-Optimized real-time rendering of a Foveated Visual System
• Title（参考訳）: CUDA-Optimized Real-time rendering of a Foveated Visual System
• Authors: Elian Malkin, Arturo Deza, Tomaso Poggio
• Abstract要約: 本稿では,GPUを用いて高速(165Hz)でガウス画像(1920x1080)を効率よく生成する手法を提案する。 提案手法は生体人工エージェント間の空間変動処理の需要を満たし,既存システム上で容易にフォベーションを付加できる。
• 参考スコア（独自算出の注目度）: 5.260841516691153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spatially-varying field of the human visual system has recently received a resurgence of interest with the development of virtual reality (VR) and neural networks. The computational demands of high resolution rendering desired for VR can be offset by savings in the periphery, while neural networks trained with foveated input have shown perceptual gains in i.i.d and o.o.d generalization. In this paper, we present a technique that exploits the CUDA GPU architecture to efficiently generate Gaussian-based foveated images at high definition (1920x1080 px) in real-time (165 Hz), with a larger number of pooling regions than previous Gaussian-based foveation algorithms by several orders of magnitude, producing a smoothly foveated image that requires no further blending or stitching, and that can be well fit for any contrast sensitivity function. The approach described can be adapted from Gaussian blurring to any eccentricity-dependent image processing and our algorithm can meet demand for experimentation to evaluate the role of spatially-varying processing across biological and artificial agents, so that foveation can be added easily on top of existing systems rather than forcing their redesign (emulated foveated renderer). Altogether, this paper demonstrates how a GPU, with a CUDA block-wise architecture, can be employed for radially-variant rendering, with opportunities for more complex post-processing to ensure a metameric foveation scheme. Code is provided.
• Abstract（参考訳）: 人間の視覚システムの空間的に変化する分野は、仮想現実(vr)とニューラルネットワークの開発によって、最近再び関心を集めている。 vrに希望する高解像度レンダリングの計算要求は、周囲を節約することで相殺できるが、foveated inputで訓練されたニューラルネットワークは、i.i.dとo.o.dの一般化において知覚的な向上を示している。 本稿では、cuda gpuアーキテクチャを利用して、従来のガウス系フォベーションアルゴリズムよりも多くのプーリング領域を持つ高精細(1920x1080px)で、高精細(1920x1080px)で効率的にガウス系フォベート画像を165hzで生成し、さらにブレンドや縫い合わせを必要とせず、任意のコントラスト感度関数に適合する滑らかなフォベート画像を生成する手法を提案する。 提案手法は,ガウス的ぼかしから偏心性に依存した画像処理に適応することができ,我々のアルゴリズムは,生物や人工エージェント間で空間的に変化する処理の役割を評価するために,実験に必要な要求を満たすことができる。 全体として,cudaブロックワイズアーキテクチャを持つgpuが,より複雑なポストプロセッシングによってメタメリックなフォベーションスキームを保証し,ラジアルな可変レンダリングに利用できることを示す。 コードが提供される。

関連論文リスト

• Image-GS: Content-Adaptive Image Representation via 2D Gaussians [55.15950594752051]
  本稿では,コンテンツ適応型画像表現であるImage-GSを提案する。 異方性2Dガウスアンをベースとして、Image-GSは高いメモリ効率を示し、高速なランダムアクセスをサポートし、自然なレベルのディテールスタックを提供する。 画像-GSの一般的な効率性と忠実性は、最近のニューラルイメージ表現と業界標準テクスチャ圧縮機に対して検証される。 この研究は、機械認識、アセットストリーミング、コンテンツ生成など、適応的な品質とリソース制御を必要とする新しいアプリケーションを開発するための洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-07-02T00:45:21Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Online Neural Path Guiding with Normalized Anisotropic Spherical Gaussians [20.68953631807367]
  1つの小さなニューラルネットワークを用いて空間変動密度モデルを学習するための新しいオンラインフレームワークを提案する。 我々のフレームワークは、段階的に分布を学習し、ウォームアップフェーズは不要である。
  論文  参考訳（メタデータ） (2023-03-11T05:22:42Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• A Novel Algorithm for Exact Concave Hull Extraction [0.0]
  領域抽出は、自律運転における物体検出から細胞生物学における細胞内形態解析まで、幅広い用途で必要とされる。 2つの主要なアプローチがある: 凸殻抽出(convex hull extract)は、正確で効率的なアルゴリズムが存在し、実世界の形状を捉えるのに優れているが、単一の解を持たない。 本研究では,コンケーブ内包を最大分解能(ピクセル完全)で提供し,速度効率のトレードオフを調整可能な新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-23T05:26:48Z)
• Image-specific Convolutional Kernel Modulation for Single Image Super-resolution [85.09413241502209]
  本稿では,新しい画像特異的畳み込み変調カーネル(IKM)を提案する。 我々は、画像や特徴のグローバルな文脈情報を利用して、畳み込みカーネルを適応的に調整するための注意重みを生成する。 単一画像超解像実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-11-16T11:05:10Z)
• An Energy-Efficient Edge Computing Paradigm for Convolution-based Image Upsampling [0.0]
  リアルタイム深層学習に基づくイメージアップサンプリングアプリケーションには,エネルギー効率の高いエッジコンピューティングパラダイムが提案されている。 我々は、学習した畳み込みカーネルをデコンボリューションカーネルに変換し、機能的に等価なデコンボリューションとして推論のためにデプロイした。
  論文  参考訳（メタデータ） (2021-07-15T23:49:37Z)
• AutoInt: Automatic Integration for Fast Neural Volume Rendering [51.46232518888791]
  暗黙的ニューラル表現ネットワークを用いて、積分に対する効率的でクローズドな解を学習するための新しいフレームワークを提案する。 我々は,高速なニューラルボリュームレンダリングを実現するために,フォトリアリスティックな要件を10倍以上に改善したことを示す。
  論文  参考訳（メタデータ） (2020-12-03T05:46:10Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。