論文の概要: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis

• arxiv url: http://arxiv.org/abs/2205.15401v1
• Date: Mon, 30 May 2022 19:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 08:54:19.071728
• Title: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis
• Title（参考訳）: VoGE:Gaussian Ellipsoidsを用いた分析合成のための微分ボリュームレンダ
• Authors: Angtian Wang, Peng Wang, Jian Sun, Adam Kortylewski, Alan Yuille
• Abstract要約: 微分勾配はコンピュータグラフィックスの視覚タスクへの応用を可能にする。 音量密度で最寄りの成分を捕捉するためにレイトレーシングを用いるVoGEを提案する。 本稿では,PyTorch3Dと競合するレンダリング速度を提供するVoGEの実装について述べる。
• 参考スコア（独自算出の注目度）: 82.99951440043759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable rendering allows the application of computer graphics on vision tasks, e.g. object pose and shape fitting, via analysis-by-synthesis, where gradients at occluded regions are important when inverting the rendering process. To obtain those gradients, state-of-the-art (SoTA) differentiable renderers use rasterization to collect a set of nearest components for each pixel and aggregate them based on the viewing distance. In this paper, we propose VoGE, which uses ray tracing to capture nearest components with their volume density distributions on the rays and aggregates via integral of the volume densities based on Gaussian ellipsoids, which brings more efficient and stable gradients. To efficiently render via VoGE, we propose an approximate close-form solution for the volume density aggregation and a coarse-to-fine rendering strategy. Finally, we provide a CUDA implementation of VoGE, which gives a competitive rendering speed in comparison to PyTorch3D. Quantitative and qualitative experiment results show VoGE outperforms SoTA counterparts when applied to various vision tasks,e.g., object pose estimation, shape/texture fitting, and occlusion reasoning. The VoGE library and demos are available at https://github.com/Angtian/VoGE.
• Abstract（参考訳）: 異なるレンダリングにより、オブジェクトのポーズや形状のフィッティングといった視覚タスクにコンピュータグラフィックスを適用することができる。 これらの勾配を得るために、最先端(SoTA)微分レンダラーは、ラスタライズを使用して、各ピクセルに最も近いコンポーネントの集合を収集し、視距離に基づいてそれらを集約する。 本稿では,gaussian ellipsoidsに基づく体積密度の積分により,光線および集合体上の体積密度分布に最も近い成分をレイトレーシングにより捕捉し,より効率的で安定な勾配をもたらすvogeを提案する。 本稿では,VoGEを用いて効率よくレンダリングを行うため,体積密度凝集法と粗大な描画法を提案する。 最後に、VoGEのCUDA実装を提供し、PyTorch3Dと比較して、競合するレンダリング速度を提供する。 定量的・質的実験により, 物体ポーズ推定, 形状・テクスチャフィッティング, 咬合推論など, 様々な視覚課題に適用すると, voge は sota に勝ることが示された。 VoGEライブラリとデモはhttps://github.com/Angtian/VoGEで公開されている。

関連論文リスト

• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Multi-View Reconstruction using Signed Ray Distance Functions (SRDF) [22.75986869918975]
  本稿では,体積の新たな形状表現に基づく新しい計算手法について検討する。 この表現に関連する形状エネルギーは、与えられたカラー画像の3次元形状を評価し、外観予測を必要としない。 実際には、カメラ線に沿った深さによってパラメータ化される符号付き距離に基づいて、暗黙の形状表現であるSRDFを提案する。
  論文  参考訳（メタデータ） (2022-08-31T19:32:17Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。