論文の概要: FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2209.09965v1
• Date: Tue, 20 Sep 2022 19:48:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 17:20:03.709437
• Title: FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks
• Title（参考訳）: FoVolNet:Foveated Deep Neural Networksを用いた高速ボリュームレンダリング
• Authors: David Bauer and Qi Wu and Kwan-Liu Ma
• Abstract要約: FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。 我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
• 参考スコア（独自算出の注目度）: 33.489890950757975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Volume data is found in many important scientific and engineering applications. Rendering this data for visualization at high quality and interactive rates for demanding applications such as virtual reality is still not easily achievable even using professional-grade hardware. We introduce FoVolNet -- a method to significantly increase the performance of volume data visualization. We develop a cost-effective foveated rendering pipeline that sparsely samples a volume around a focal point and reconstructs the full-frame using a deep neural network. Foveated rendering is a technique that prioritizes rendering computations around the user's focal point. This approach leverages properties of the human visual system, thereby saving computational resources when rendering data in the periphery of the user's field of vision. Our reconstruction network combines direct and kernel prediction methods to produce fast, stable, and perceptually convincing output. With a slim design and the use of quantization, our method outperforms state-of-the-art neural reconstruction techniques in both end-to-end frame times and visual quality. We conduct extensive evaluations of the system's rendering performance, inference speed, and perceptual properties, and we provide comparisons to competing neural image reconstruction techniques. Our test results show that FoVolNet consistently achieves significant time saving over conventional rendering while preserving perceptual quality.
• Abstract（参考訳）: ボリュームデータは、多くの重要な科学および工学の応用で見られる。 このデータを高品質でインタラクティブなレートで視覚化するバーチャルリアリティーのようなアプリケーションでは、プロフェッショナルグレードのハードウェアを使っても、容易には達成できない。 我々はfovolnet -- ボリュームデータの可視化性能を大幅に向上させる手法を紹介する。 本研究では,焦点付近のボリュームをばらばらにサンプリングし,ディープニューラルネットワークを用いて全フレームを再構築する,コスト効率のよいフォベテッドレンダリングパイプラインを開発した。 foveated renderingは、ユーザの焦点の周りにレンダリング計算を優先するテクニックである。 このアプローチは、人間の視覚システムの特性を利用して、ユーザーの視野の周囲にデータをレンダリングする際に計算資源を節約する。 我々の再構成ネットワークは、直接およびカーネル予測手法を組み合わせて、高速で安定かつ知覚的に説得力のある出力を生成する。 スリムな設計と量子化の利用により、本手法は、エンドツーエンドのフレーム時間と視覚的品質の両方において最先端のニューラル再構成技術より優れる。 我々は,システムのレンダリング性能,推論速度,知覚特性を広範囲に評価し,競合するニューラルイメージ再構成手法との比較を行った。 実験の結果,fovolnetは知覚的品質を維持しつつ,従来のレンダリングよりも大幅な時間を節約できることがわかった。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Distributed Neural Representation for Reactive in situ Visualization [23.80657290203846]
  Inlicit Neural representations (INR) は、大規模ボリュームデータを圧縮するための強力なツールとして登場した。 分散ニューラル表現を開発し,それをその場での可視化に最適化する。 我々の技術はプロセス間のデータ交換を排除し、最先端の圧縮速度、品質、比率を達成する。
  論文  参考訳（メタデータ） (2023-03-28T03:55:47Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
  本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。 潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。 我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
  論文  参考訳（メタデータ） (2021-06-09T23:03:00Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• Monocular Real-Time Volumetric Performance Capture [28.481131687883256]
  本稿では,モノクロ映像から実時間速度でボリューム・パフォーマンス・キャプチャとノベル・ビュー・レンダリングを行うための最初のアプローチを提案する。 このシステムは,Pixel-Aligned Implicit Function (PIFu)を活用して,各フレームから完全にテクスチャ化された3次元人体を再構成する。 また,オンラインハード・サンプル・マイニング(OHEM)技術を導入し,難題の稀な発生により,障害モードを効果的に抑制する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T04:45:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。