論文の概要: ADOP: Approximate Differentiable One-Pixel Point Rendering
- arxiv url: http://arxiv.org/abs/2110.06635v1
- Date: Wed, 13 Oct 2021 10:55:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 21:10:37.578794
- Title: ADOP: Approximate Differentiable One-Pixel Point Rendering
- Title（参考訳）: ADOP: 近似微分可能なワンピクセルポイントレンダリング
- Authors: Darius R\"uckert, Linus Franke, Marc Stamminger
- Abstract要約: 本稿では,シーンリファインメントと新しいビュー合成のための点ベース,微分可能なニューラルレンダリングパイプラインを提案する。
我々は,既存のアプローチよりもシャープで一貫した新しいビューを合成できることを実証した。
- 参考スコア（独自算出の注目度）: 7.69748487650283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel point-based, differentiable neural rendering pipeline for
scene refinement and novel view synthesis. The input are an initial estimate of
the point cloud and the camera parameters. The output are synthesized images
from arbitrary camera poses. The point cloud rendering is performed by a
differentiable renderer using multi-resolution one-pixel point rasterization.
Spatial gradients of the discrete rasterization are approximated by the novel
concept of ghost geometry. After rendering, the neural image pyramid is passed
through a deep neural network for shading calculations and hole-filling. A
differentiable, physically-based tonemapper then converts the intermediate
output to the target image. Since all stages of the pipeline are
differentiable, we optimize all of the scene's parameters i.e. camera model,
camera pose, point position, point color, environment map, rendering network
weights, vignetting, camera response function, per image exposure, and per
image white balance. We show that our system is able to synthesize sharper and
more consistent novel views than existing approaches because the initial
reconstruction is refined during training. The efficient one-pixel point
rasterization allows us to use arbitrary camera models and display scenes with
well over 100M points in real time.
- Abstract（参考訳）: 本稿では,シーンリファインメントと新しいビュー合成のための,ポイントベースで微分可能なニューラルレンダリングパイプラインを提案する。
入力は、ポイントクラウドとカメラパラメータの初期推定である。
出力は任意のカメラポーズから合成される。
ポイントクラウドレンダリングは、多解像度1画素点ラスタ化を用いて、微分可能なレンダラにより実行される。
離散ラスター化の空間勾配は、ゴースト幾何学の新しい概念によって近似される。
レンダリング後、ニューラルネットワークピラミッドは、シェーディング計算と穴埋めのためにディープニューラルネットワークを通過する。
物理的に微分可能なトーンマッパーは、中間出力をターゲット画像に変換する。
パイプラインのすべてのステージは微分可能であるため、カメラモデル、カメラポーズ、ポイント位置、ポイントカラー、環境マップ、ネットワーク重みのレンダリング、ナビネット、カメラ応答機能、画像の露出毎、画像ごとのホワイトバランスなど、シーンのパラメータをすべて最適化します。
本システムでは,トレーニング中に初期再構成が洗練されるため,既存のアプローチよりもシャープで一貫した新しいビューを合成できることが示されている。
効率的な1ピクセルのポイントラスター化により、任意のカメラモデルを使い、1億ポイント以上のシーンをリアルタイムで表示できます。
関連論文リスト
- Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D
Reconstruction [97.06927852165464]
単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。
条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
論文 参考訳（メタデータ） (2023-02-21T13:37:07Z) - View Synthesis with Sculpted Neural Points [64.40344086212279]
暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。
本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。
レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
論文 参考訳（メタデータ） (2022-05-12T03:54:35Z) - ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
論文 参考訳（メタデータ） (2022-02-28T19:37:12Z) - PICCOLO: Point Cloud-Centric Omnidirectional Localization [20.567452635590943]
一方向局所化のための単純かつ効率的なアルゴリズムであるPICCOLOを提案する。
私たちのパイプラインは、クエリとして与えられた単一のイメージで、既定の方法で動作します。
PICCOLOは、様々な環境で評価された場合、既存の全方位ローカライゼーションアルゴリズムよりも精度と安定性が優れている。
論文 参考訳（メタデータ） (2021-08-14T14:19:37Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳（メタデータ） (2021-04-08T04:27:32Z) - Back to the Feature: Learning Robust Camera Localization from Pixels to
Pose [114.89389528198738]
画像と3Dモデルから正確な6-DoFのポーズを推定するシーンに依存しないニューラルネットワークPixLocを導入する。
このシステムは、粗いポーズ前の大きな環境でもローカライズできるが、スパース特徴マッチングの精度も向上する。
論文 参考訳（メタデータ） (2021-03-16T17:40:12Z) - TRANSPR: Transparency Ray-Accumulating Neural 3D Scene Point Renderer [6.320273914694594]
本稿では,半透明シーンをモデル化可能なニューラルポイントベースグラフィックス手法を提案し,評価する。
半透明な点雲のシーンの新たなビューは、我々のアプローチでトレーニングした後に生成できることを示す。
論文 参考訳（メタデータ） (2020-09-06T21:19:18Z) - Neural Geometric Parser for Single Image Camera Calibration [17.393543270903653]
そこで本研究では,人為的なシーンに対して,ニューラルネットワークによる一眼レフカメラキャリブレーションを提案する。
提案手法は意味的手法と幾何学的手法の両方を考慮し,精度を著しく向上させる。
実験の結果,既存の最先端カメラキャリブレーション技術に比べて,ニューラルネットワークの性能は著しく高いことがわかった。
論文 参考訳（メタデータ） (2020-07-23T08:29:00Z) - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。
提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。
ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文 参考訳（メタデータ） (2020-03-19T17:57:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。