論文の概要: PAPR: Proximity Attention Point Rendering
- arxiv url: http://arxiv.org/abs/2307.11086v2
- Date: Thu, 7 Dec 2023 06:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 18:36:36.316813
- Title: PAPR: Proximity Attention Point Rendering
- Title(参考訳): PAPR: 近視的注意ポイントレンダリング
- Authors: Yanshu Zhang, Shichong Peng, Alireza Moazeni, Ke Li
- Abstract要約: 本稿では,ポイントベースシーン表現と微分可能な勾配からなる新しい手法であるPAPR(Proximity Attention Point Rendering)を提案する。
PAPRは、ポイント雲の位置を効果的に学習し、正しいシーン幾何学を表現する。
また, ゼロショット幾何編集, オブジェクト操作, テクスチャ転送, 露出制御の4つの応用例を示した。
- 参考スコア(独自算出の注目度): 6.437067581742357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning accurate and parsimonious point cloud representations of scene
surfaces from scratch remains a challenge in 3D representation learning.
Existing point-based methods often suffer from the vanishing gradient problem
or require a large number of points to accurately model scene geometry and
texture. To address these limitations, we propose Proximity Attention Point
Rendering (PAPR), a novel method that consists of a point-based scene
representation and a differentiable renderer. Our scene representation uses a
point cloud where each point is characterized by its spatial position,
influence score, and view-independent feature vector. The renderer selects the
relevant points for each ray and produces accurate colours using their
associated features. PAPR effectively learns point cloud positions to represent
the correct scene geometry, even when the initialization drastically differs
from the target geometry. Notably, our method captures fine texture details
while using only a parsimonious set of points. We also demonstrate four
practical applications of our method: zero-shot geometry editing, object
manipulation, texture transfer, and exposure control. More results and code are
available on our project website at https://zvict.github.io/papr/.
- Abstract(参考訳): スクラッチからシーン表面の正確で控えめなポイントクラウド表現を学ぶことは、3d表現学習の課題である。
既存のポイントベース手法は、しばしば消失する勾配問題や、シーンの幾何学やテクスチャを正確にモデル化するために多くのポイントを必要とする。
これらの制約に対処するため,我々は,ポイントベースのシーン表現と微分可能なレンダラからなる新しい手法である近接注意ポイントレンダリング(papr)を提案する。
我々のシーン表現は、各点が空間的位置、影響スコア、ビュー非依存の特徴ベクトルによって特徴づけられる点雲を使用する。
レンダラは、各光線に関する関連点を選択し、関連する特徴を用いて正確な色を生成する。
PAPRは、初期化がターゲットの幾何学と大きく異なる場合でも、適切なシーン幾何学を表現するために点雲の位置を効果的に学習する。
特に,本手法では,相似点のみを用いて微細なテクスチャの詳細を抽出する。
また,ゼロショット幾何編集,オブジェクト操作,テクスチャ転送,露出制御という4つの実用的な応用例を示す。
さらなる結果とコードは、プロジェクトのwebサイトhttps://zvict.github.io/papr/で閲覧できます。
関連論文リスト
- PAPR in Motion: Seamless Point-level 3D Scene Interpolation [6.437067581742357]
PAPR in Motion」は、大きなシーンの変化をブリッジし、幾何学と外観の両面において視覚的一貫性と時間的滑らかさを生み出すように設計されている。
多様な動作タイプによる評価は、「動作中のPAPR」が、ダイナミックシーンにおける主要なニューラルシーンよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-06-08T17:27:27Z) - TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering [6.142272540492937]
本稿では,ガウス版とADOP版の両方のアイデアを組み合わせたTRIPS(Trilinear Splatting)を提案する。
評価の結果,TRIPS はレンダリング品質の点で既存の最先端手法を超越していることがわかった。
このパフォーマンスは、複雑な幾何学、広大な風景、自動露光映像など、困難なシナリオにまで拡張されている。
論文 参考訳(メタデータ) (2024-01-11T16:06:36Z) - Quadric Representations for LiDAR Odometry, Mapping and Localization [93.24140840537912]
現在のLiDARオードメトリ、マッピング、ローカライズ手法は、3Dシーンのポイントワイズ表現を利用する。
3次元オブジェクトのよりコンパクトな表現である2次元曲面を用いたシーン記述法を提案する。
提案手法は低レイテンシとメモリの有効性を維持しつつ、競争力があり、しかも精度も優れている。
論文 参考訳(メタデータ) (2023-04-27T13:52:01Z) - Pointersect: Neural Rendering with Cloud-Ray Intersection [30.485621062087585]
本研究では,点雲を表面のように描画する新しい手法を提案する。
提案手法は識別可能であり,シーン固有の最適化を必要としない。
論文 参考訳(メタデータ) (2023-04-24T18:36:49Z) - Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [53.93172686610741]
Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。
2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。
我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
論文 参考訳(メタデータ) (2022-12-01T15:11:21Z) - MeshLoc: Mesh-Based Visual Localization [54.731309449883284]
シーン表現を構築するために,データベースイメージ間のマッチング機能を必要としない,高密度な3Dメッシュに基づく,より柔軟な代替手段を模索する。
驚くべきことに、ニューラルネットワークのレンダリングステージなしで、これらのメッシュのレンダリングの特徴を抽出するときに、競合的な結果が得られる。
以上の結果から,高密度な3次元モデルに基づく表現は,既存の表現の代替として有望なものであり,今後の研究にとって興味深い,挑戦的な方向性を示すものと考えられる。
論文 参考訳(メタデータ) (2022-07-21T21:21:10Z) - POCO: Point Convolution for Surface Reconstruction [92.22371813519003]
入射ニューラルネットワークは点雲からの表面再構成に成功している。
それらの多くは、オブジェクトやシーン全体を1つの潜伏ベクトルにエンコードするときにスケーラビリティの問題に直面します。
本稿では,各入力点における点雲畳み込みと潜在ベクトルの計算を提案する。
論文 参考訳(メタデータ) (2022-01-05T21:26:18Z) - Polygonal Point Set Tracking [50.445151155209246]
本稿では,学習に基づく多角形点集合追跡手法を提案する。
私たちのゴールは、ターゲットの輪郭上の対応する点を追跡することです。
本稿では,部分歪みとテキストマッピングに対する本手法の視覚効果について述べる。
論文 参考訳(メタデータ) (2021-05-30T17:12:36Z) - How Privacy-Preserving are Line Clouds? Recovering Scene Details from 3D
Lines [49.06411148698547]
本稿では,3次元シーン形状に関する情報がライン雲に保存されていることを示す。
我々のアプローチは、直線間の最接近点が元の3d点に良い近似をもたらすという観測に基づいている。
論文 参考訳(メタデータ) (2021-03-08T21:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。