論文の概要: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis

• arxiv url: http://arxiv.org/abs/2205.15401v3
• Date: Sun, 28 Jan 2024 20:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 01:20:24.026777
• Title: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis
• Title（参考訳）: VoGE:Gaussian Ellipsoidsを用いた分析合成のための微分ボリュームレンダ
• Authors: Angtian Wang, Peng Wang, Jian Sun, Adam Kortylewski, Alan Yuille
• Abstract要約: 本稿では,ガウス再構成カーネルをボリュームプリミティブとして利用するVoGEを提案する。 本稿では,VoGEを用いて効率よくレンダリングを行うために,体積密度集約と粗大な描画戦略に関する近似クローズフォーム解を提案する。 VoGEは、オブジェクトポーズ推定、形状/テクスチャフィッティング、推論など、様々な視覚タスクに適用された場合、SoTAより優れている。
• 参考スコア（独自算出の注目度）: 62.47221232706105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Gaussian reconstruction kernels have been proposed by Westover (1990) and studied by the computer graphics community back in the 90s, which gives an alternative representation of object 3D geometry from meshes and point clouds. On the other hand, current state-of-the-art (SoTA) differentiable renderers, Liu et al. (2019), use rasterization to collect triangles or points on each image pixel and blend them based on the viewing distance. In this paper, we propose VoGE, which utilizes the volumetric Gaussian reconstruction kernels as geometric primitives. The VoGE rendering pipeline uses ray tracing to capture the nearest primitives and blends them as mixtures based on their volume density distributions along the rays. To efficiently render via VoGE, we propose an approximate closeform solution for the volume density aggregation and a coarse-to-fine rendering strategy. Finally, we provide a CUDA implementation of VoGE, which enables real-time level rendering with a competitive rendering speed in comparison to PyTorch3D. Quantitative and qualitative experiment results show VoGE outperforms SoTA counterparts when applied to various vision tasks, e.g., object pose estimation, shape/texture fitting, and occlusion reasoning. The VoGE library and demos are available at: https://github.com/Angtian/VoGE.
• Abstract（参考訳）: ガウスの再構成カーネルは、1990年にWestoverによって提案され、90年代にコンピュータグラフィックスコミュニティによって研究されている。 一方、現在の最先端(sota)微分可能レンダラであるliu et al.(2019)では、ラスタライズを使用して各画像ピクセルの三角形や点を収集し、ビュー距離に基づいてブレンドする。 本稿では,ボリュームガウス再構成カーネルを幾何学的プリミティブとして利用するVoGEを提案する。 VoGEレンダリングパイプラインはレイトレーシングを使用して最も近いプリミティブを捕捉し、光線に沿った体積密度分布に基づいて混合する。 本稿では,VoGEを用いて効率よくレンダリングを行うために,体積密度集約と粗大な描画戦略に関する近似クローズフォーム解を提案する。 最後に、PyTorch3Dと比較して、競合するレンダリング速度でリアルタイムレベルのレンダリングを可能にするVoGEのCUDA実装を提供する。 定量的・定性的な実験では,物体のポーズ推定や形状・テクスチャの適合性,咬合推論など,様々な視覚課題に適用すると,vogeがsotaに勝ることが示された。 VoGEライブラリとデモは、https://github.com/Angtian/VoGEで公開されている。

関連論文リスト

• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Multi-View Reconstruction using Signed Ray Distance Functions (SRDF) [22.75986869918975]
  本稿では,体積の新たな形状表現に基づく新しい計算手法について検討する。 この表現に関連する形状エネルギーは、与えられたカラー画像の3次元形状を評価し、外観予測を必要としない。 実際には、カメラ線に沿った深さによってパラメータ化される符号付き距離に基づいて、暗黙の形状表現であるSRDFを提案する。
  論文  参考訳（メタデータ） (2022-08-31T19:32:17Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。