論文の概要: Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images

• arxiv url: http://arxiv.org/abs/2106.05429v1
• Date: Wed, 9 Jun 2021 23:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-12 21:49:30.483584
• Title: Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images
• Title（参考訳）: deep direct volume rendering: 例示画像からの視覚的特徴マッピングの学習
• Authors: Jakob Weiss, Nassir Navab
• Abstract要約: 本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。 潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。 我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
• 参考スコア（独自算出の注目度）: 57.253447453301796
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Volume Rendering is an important technique for visualizing three-dimensional scalar data grids and is commonly employed for scientific and medical image data. Direct Volume Rendering (DVR) is a well established and efficient rendering algorithm for volumetric data. Neural rendering uses deep neural networks to solve inverse rendering tasks and applies techniques similar to DVR. However, it has not been demonstrated successfully for the rendering of scientific volume data. In this work, we introduce Deep Direct Volume Rendering (DeepDVR), a generalization of DVR that allows for the integration of deep neural networks into the DVR algorithm. We conceptualize the rendering in a latent color space, thus enabling the use of deep architectures to learn implicit mappings for feature extraction and classification, replacing explicit feature design and hand-crafted transfer functions. Our generalization serves to derive novel volume rendering architectures that can be trained end-to-end directly from examples in image space, obviating the need to manually define and fine-tune multidimensional transfer functions while providing superior classification strength. We further introduce a novel stepsize annealing scheme to accelerate the training of DeepDVR models and validate its effectiveness in a set of experiments. We validate our architectures on two example use cases: (1) learning an optimized rendering from manually adjusted reference images for a single volume and (2) learning advanced visualization concepts like shading and semantic colorization that generalize to unseen volume data. We find that deep volume rendering architectures with explicit modeling of the DVR pipeline effectively enable end-to-end learning of scientific volume rendering tasks from target images.
• Abstract（参考訳）: ボリュームレンダリングは三次元スカラーデータグリッドを可視化する重要な技術であり、科学や医学的な画像データに一般的に用いられている。 直接ボリュームレンダリング(英: Direct Volume Rendering, DVR)は、ボリュームデータのためのアルゴリズムである。 ニューラルレンダリングは、ディープニューラルネットワークを使用して逆レンダリングタスクを解決し、DVRに似たテクニックを適用する。 しかし、科学的ボリュームデータのレンダリングには成功していない。 本稿では,DVRアルゴリズムへのディープニューラルネットワークの統合を可能にするDVRの一般化であるDeep Direct Volume Rendering(DeepDVR)を紹介する。 色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習し、明示的な特徴設計と手作りの伝達関数を置き換える。 私たちの一般化は、画像空間の例からエンドツーエンドでトレーニングできる新しいボリュームレンダリングアーキテクチャを導出し、より優れた分類強度を提供しながら、手動で多次元転送関数を定義し、微調整する必要をなくすのに役立ちます。 さらに,DeepDVRモデルのトレーニングを加速し,その有効性を実験で検証する段階的アニール方式を提案する。 我々は,(1)手動で調整した1ボリュームの参照画像から最適化されたレンダリングを学習すること,(2)シェーディングやセマンティックカラー化などの高度な視覚化概念を学習すること,の2つの例でアーキテクチャを検証する。 DVRパイプラインの明示的なモデリングによる深部ボリュームレンダリングアーキテクチャは,対象画像からの科学的ボリュームレンダリングタスクのエンドツーエンド学習を効果的に実現する。

関連論文リスト

• TK-Planes: Tiered K-Planes with High Dimensional Feature Vectors for Dynamic UAV-based Scenes [58.180556221044235]
  本研究では,無人航空機(UAV)の認識における合成データと実世界データとの領域ギャップを埋める新しい手法を提案する。 私たちの定式化は、小さな動く物体や人間の行動からなる動的なシーンのために設計されています。 我々は,Okutama ActionやUG2など,挑戦的なデータセットの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-04T21:55:33Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks [33.489890950757975]
  FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。 我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
  論文  参考訳（メタデータ） (2022-09-20T19:48:56Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• Physics-based Differentiable Depth Sensor Simulation [5.134435281973137]
  リアルな2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。 各モジュールはw.r.tセンサーとシーンパラメータを区別できる。 シミュレーションにより,実スキャンで得られたモデルの性能が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:59:43Z)
• On Deep Learning Techniques to Boost Monocular Depth Estimation for Autonomous Navigation [1.9007546108571112]
  画像の深さを推定することはコンピュータビジョンの分野における根本的な逆問題である。 本稿では,新しい特徴抽出モデルと組み合わせ,軽量で高速なCNNアーキテクチャを提案する。 また,SIDE問題を解くために,単純な幾何2.5D損失関数と組み合わせて効率的な表面正規化モジュールを導入する。
  論文  参考訳（メタデータ） (2020-10-13T18:37:38Z)
• VC-Net: Deep Volume-Composition Networks for Segmentation and Visualization of Highly Sparse and Noisy Image Data [13.805816310795256]
  本稿では,3次元微小血管のロバスト抽出のためのエンドツーエンド深層学習手法VC-Netを提案する。 中心となる新規性は、ボリューム可視化技術(MIP)を自動利用して、3Dデータ探索を強化することである。 マルチストリーム畳み込みニューラルネットワークは、それぞれ3次元体積と2次元MIPの特徴を学習し、その相互依存性を結合体積-合成埋め込み空間で探索するために提案される。
  論文  参考訳（メタデータ） (2020-09-14T04:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。