論文の概要: EPSilon: Efficient Point Sampling for Lightening of Hybrid-based 3D Avatar Generation
- arxiv url: http://arxiv.org/abs/2507.13648v1
- Date: Fri, 18 Jul 2025 04:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.185624
- Title: EPSilon: Efficient Point Sampling for Lightening of Hybrid-based 3D Avatar Generation
- Title(参考訳): EPSilon:ハイブリッド3次元アバターの高効率点サンプリング
- Authors: Seungjun Moon, Sangjoon Yu, Gyeong-Moon Park,
- Abstract要約: 本研究では,新しい効率的な点サンプリング手法を用いたハイブリッド3次元アバター生成手法であるEPSilonを提案する。
エプシロンは3.9%のサンプリングポイントを使用しながら 生成品質を維持します
エプシロンは予想の約20倍の速さで トレーニング収束の4倍の速さで達成します
- 参考スコア(独自算出の注目度): 8.147846812488782
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of neural radiance fields (NeRF) has paved the way to generate animatable human avatars from a monocular video. However, the sole usage of NeRF suffers from a lack of details, which results in the emergence of hybrid representation that utilizes SMPL-based mesh together with NeRF representation. While hybrid-based models show photo-realistic human avatar generation qualities, they suffer from extremely slow inference due to their deformation scheme: to be aligned with the mesh, hybrid-based models use the deformation based on SMPL skinning weights, which needs high computational costs on each sampled point. We observe that since most of the sampled points are located in empty space, they do not affect the generation quality but result in inference latency with deformation. In light of this observation, we propose EPSilon, a hybrid-based 3D avatar generation scheme with novel efficient point sampling strategies that boost both training and inference. In EPSilon, we propose two methods to omit empty points at rendering; empty ray omission (ERO) and empty interval omission (EIO). In ERO, we wipe out rays that progress through the empty space. Then, EIO narrows down the sampling interval on the ray, which wipes out the region not occupied by either clothes or mesh. The delicate sampling scheme of EPSilon enables not only great computational cost reduction during deformation but also the designation of the important regions to be sampled, which enables a single-stage NeRF structure without hierarchical sampling. Compared to existing methods, EPSilon maintains the generation quality while using only 3.9% of sampled points and achieves around 20 times faster inference, together with 4 times faster training convergence. We provide video results on https://github.com/seungjun-moon/epsilon.
- Abstract(参考訳): 神経放射場(NeRF)の急速な進歩は、単眼ビデオからアニマタブルなヒトアバターを生成する道を開いた。
しかし、NeRFの唯一の使用法は詳細の欠如に悩まされており、SMPLベースのメッシュとNeRF表現を併用したハイブリッド表現の出現に繋がる。
ハイブリッドベースモデルは、フォトリアリスティックな人間のアバター生成特性を示すが、それらの変形スキームにより非常に遅い推論に苦しむ:メッシュに整合するために、ハイブリッドベースモデルはSMPLスキンウェイトに基づく変形を使用し、各サンプリングポイントに対して高い計算コストを必要とする。
また, サンプル点のほとんどが空き空間にあるため, 生成品質には影響しないが, 変形に伴う推論遅延が生じる。
そこで本研究では,ハイブリッド型3次元アバター生成方式であるEPSilonを提案する。
EPSilonでは、レンダリング時に空の点を省略する2つの方法、空の線除去(ERO)と空の間隔削除(EIO)を提案する。
EROでは、空の空間を進行する光線を消去する。
次に、EIOは、光線のサンプリング間隔を狭め、衣服やメッシュによって占有されていない領域を消去する。
EPSilonの微妙なサンプリング方式は, 変形に伴う計算コストの低減だけでなく, サンプリングすべき重要な領域の指定を可能にし, 階層的なサンプリングを伴わない単一ステージのNeRF構造を実現する。
既存の方法と比較して、EPSilonはサンプルポイントの3.9%しか使用せず、推論の約20倍、トレーニング収束の4倍の速度で生成品質を維持している。
ビデオの結果はhttps://github.com/seungjun-moon/epsilon.comで公開しています。
関連論文リスト
- Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。
各種タスクにおけるMesh2NeRFの有効性を検証する。
論文 参考訳(メタデータ) (2024-03-28T11:22:53Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳(メタデータ) (2024-03-25T15:56:17Z) - ProNeRF: Learning Efficient Projection-Aware Ray Sampling for
Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。
我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
論文 参考訳(メタデータ) (2023-12-13T13:37:32Z) - HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15~30%改善する。
論文 参考訳(メタデータ) (2023-12-05T22:04:49Z) - Sparse 3D Reconstruction via Object-Centric Ray Sampling [20.874406440346462]
本研究では,360度カメラリグから取得したスパースビューから3次元オブジェクトを復元する新しい手法を提案する。
我々は、校正ベースニューラル表現とトライアングルメッシュの両方を使用するハイブリッドモデルにより、オブジェクトを表現する。
私たちはGoogleのScanned Objects, Tank and Temples, MVMC Carデータセットのスパースなビューで作業しています。
論文 参考訳(メタデータ) (2023-09-06T13:54:31Z) - AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance
Fields [8.214695794896127]
新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。
この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。
本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-07-21T05:59:13Z) - Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。
我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。
ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文 参考訳(メタデータ) (2022-05-28T04:36:13Z) - NeuSample: Neural Sample Field for Efficient View Synthesis [129.10351459066501]
本稿では,ニューラルサンプル場を命名する軽量モジュールを提案する。
提案したサンプルフィールドは、線をサンプル分布にマッピングし、点座標に変換し、ボリュームレンダリングのために放射場に供給することができる。
我々はNeuSampleが高速な推論速度を保ちながら、NeRFよりも優れたレンダリング品質を実現することを示す。
論文 参考訳(メタデータ) (2021-11-30T16:43:49Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。