論文の概要: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for
Analysis-by-Synthesis
- arxiv url: http://arxiv.org/abs/2205.15401v1
- Date: Mon, 30 May 2022 19:52:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 08:54:19.071728
- Title: VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for
Analysis-by-Synthesis
- Title(参考訳): VoGE:Gaussian Ellipsoidsを用いた分析合成のための微分ボリュームレンダ
- Authors: Angtian Wang, Peng Wang, Jian Sun, Adam Kortylewski, Alan Yuille
- Abstract要約: 微分勾配はコンピュータグラフィックスの視覚タスクへの応用を可能にする。
音量密度で最寄りの成分を捕捉するためにレイトレーシングを用いるVoGEを提案する。
本稿では,PyTorch3Dと競合するレンダリング速度を提供するVoGEの実装について述べる。
- 参考スコア(独自算出の注目度): 82.99951440043759
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable rendering allows the application of computer graphics on
vision tasks, e.g. object pose and shape fitting, via analysis-by-synthesis,
where gradients at occluded regions are important when inverting the rendering
process. To obtain those gradients, state-of-the-art (SoTA) differentiable
renderers use rasterization to collect a set of nearest components for each
pixel and aggregate them based on the viewing distance. In this paper, we
propose VoGE, which uses ray tracing to capture nearest components with their
volume density distributions on the rays and aggregates via integral of the
volume densities based on Gaussian ellipsoids, which brings more efficient and
stable gradients. To efficiently render via VoGE, we propose an approximate
close-form solution for the volume density aggregation and a coarse-to-fine
rendering strategy. Finally, we provide a CUDA implementation of VoGE, which
gives a competitive rendering speed in comparison to PyTorch3D. Quantitative
and qualitative experiment results show VoGE outperforms SoTA counterparts when
applied to various vision tasks,e.g., object pose estimation, shape/texture
fitting, and occlusion reasoning. The VoGE library and demos are available at
https://github.com/Angtian/VoGE.
- Abstract(参考訳): 異なるレンダリングにより、オブジェクトのポーズや形状のフィッティングといった視覚タスクにコンピュータグラフィックスを適用することができる。
これらの勾配を得るために、最先端(SoTA)微分レンダラーは、ラスタライズを使用して、各ピクセルに最も近いコンポーネントの集合を収集し、視距離に基づいてそれらを集約する。
本稿では,gaussian ellipsoidsに基づく体積密度の積分により,光線および集合体上の体積密度分布に最も近い成分をレイトレーシングにより捕捉し,より効率的で安定な勾配をもたらすvogeを提案する。
本稿では,VoGEを用いて効率よくレンダリングを行うため,体積密度凝集法と粗大な描画法を提案する。
最後に、VoGEのCUDA実装を提供し、PyTorch3Dと比較して、競合するレンダリング速度を提供する。
定量的・質的実験により, 物体ポーズ推定, 形状・テクスチャフィッティング, 咬合推論など, 様々な視覚課題に適用すると, voge は sota に勝ることが示された。
VoGEライブラリとデモはhttps://github.com/Angtian/VoGEで公開されている。
関連論文リスト
- Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot
Images [47.14713579719103]
オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。
調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。
提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
論文 参考訳(メタデータ) (2023-11-22T13:53:04Z) - Flexible Techniques for Differentiable Rendering with 3D Gaussians [29.602516169951556]
ニューラル・ラディアンス・フィールズ(Neural Radiance Fields)は、フォトリアリスティック・ノベルビューが到達範囲内にあることを示した。
特に3次元水密メッシュと1線当たりのレンダリングによる代替形状表現の拡張を開発した。
これらの再構築は高速で堅牢で、GPUやCPU上で容易に実行できる。
論文 参考訳(メタデータ) (2023-08-28T17:38:31Z) - Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。
我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。
私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
論文 参考訳(メタデータ) (2023-04-20T04:05:22Z) - Multi-View Reconstruction using Signed Ray Distance Functions (SRDF) [22.75986869918975]
本稿では,体積の新たな形状表現に基づく新しい計算手法について検討する。
この表現に関連する形状エネルギーは、与えられたカラー画像の3次元形状を評価し、外観予測を必要としない。
実際には、カメラ線に沿った深さによってパラメータ化される符号付き距離に基づいて、暗黙の形状表現であるSRDFを提案する。
論文 参考訳(メタデータ) (2022-08-31T19:32:17Z) - Mesh Convolution with Continuous Filters for 3D Surface Parsing [101.25796935464648]
本稿では、3次元トライアングルメッシュから効果的な幾何学的特徴学習のための一連のモジュラー演算を提案する。
メッシュ畳み込みは球面調和を正規直交基底として利用し、連続畳み込みフィルタを生成する。
さらに,PicassoNet++という3次元表面の知覚解析のための新しい階層型ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-12-03T09:16:49Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Volume Rendering of Neural Implicit Surfaces [57.802056954935495]
本稿では,ニューラルボリュームレンダリングにおける幾何学的表現と再構成を改善することを目的とする。
体積密度を幾何学の関数としてモデル化することで実現する。
この新たな密度表現を挑戦的なシーンマルチビューデータセットに適用することで、高品質な幾何学的再構成を実現した。
論文 参考訳(メタデータ) (2021-06-22T20:23:16Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。