論文の概要: CE-NPBG: Connectivity Enhanced Neural Point-Based Graphics for Novel View Synthesis in Autonomous Driving Scenes
- arxiv url: http://arxiv.org/abs/2504.19557v1
- Date: Mon, 28 Apr 2025 08:02:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.354074
- Title: CE-NPBG: Connectivity Enhanced Neural Point-Based Graphics for Novel View Synthesis in Autonomous Driving Scenes
- Title（参考訳）: CE-NPBG:自律走行シーンにおける新しいビュー合成のための接続性強化ニューラルポイントベースグラフィックス
- Authors: Mohammad Altillawi, Fengyi Shen, Liudi Yang, Sai Manoj Prakhya, Ziyuan Liu,
- Abstract要約: 大規模自動運転シーンにおける新しいビュー合成(NVS)手法であるCE-NPBGを提案する。
提案手法は,画像(カメラ)と同期生3D点雲(LiDAR)の2つのモードを利用するニューラルネットワーク技術である。
この接続を利用することで、レンダリング品質を大幅に改善し、実行時間とスケーラビリティを向上させる。
- 参考スコア（独自算出の注目度）: 5.719388462440881
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Current point-based approaches encounter limitations in scalability and rendering quality when using large 3D point cloud maps because using them directly for novel view synthesis (NVS) leads to degraded visualizations. We identify the primary issue behind these low-quality renderings as a visibility mismatch between geometry and appearance, stemming from using these two modalities together. To address this problem, we present CE-NPBG, a new approach for novel view synthesis (NVS) in large-scale autonomous driving scenes. Our method is a neural point-based technique that leverages two modalities: posed images (cameras) and synchronized raw 3D point clouds (LiDAR). We first employ a connectivity relationship graph between appearance and geometry, which retrieves points from a large 3D point cloud map observed from the current camera perspective and uses them for rendering. By leveraging this connectivity, our method significantly improves rendering quality and enhances run-time and scalability by using only a small subset of points from the large 3D point cloud map. Our approach associates neural descriptors with the points and uses them to synthesize views. To enhance the encoding of these descriptors and elevate rendering quality, we propose a joint adversarial and point rasterization training. During training, we pair an image-synthesizer network with a multi-resolution discriminator. At inference, we decouple them and use the image-synthesizer to generate novel views. We also integrate our proposal into the recent 3D Gaussian Splatting work to highlight its benefits for improved rendering and scalability.
- Abstract（参考訳）: 現在のポイントベースのアプローチは、大きな3Dポイントクラウドマップを使用する場合、スケーラビリティとレンダリング品質の制限に直面する。
これらの低品質レンダリングの背景にある主な問題は、これらの2つのモダリティを併用することから生じる、幾何学と外観の視認的ミスマッチである。
そこで我々は,大規模な自律走行シーンにおける新しいビュー合成(NVS)手法であるCE-NPBGを提案する。
提案手法は,画像(カメラ)と生の3D点雲(LiDAR)の2つのモードを利用するニューラルネットワーク技術である。
我々はまず、外見と幾何学の間の接続関係グラフを使用し、現在のカメラの視点から観察された大きな3Dポイントクラウドマップから点を抽出し、それらをレンダリングに利用する。
このコネクティビティを活用することで、大規模な3Dポイントクラウドマップからの小さな部分のみを使用することで、レンダリング品質を大幅に改善し、実行時間とスケーラビリティを向上する。
我々のアプローチは、神経記述子とポイントを関連付け、ビューを合成するためにそれらを使用する。
これらのディスクリプタの符号化を強化し、レンダリング品質を向上させるため、連立対位法と点ラスタライズ訓練を提案する。
トレーニング中、画像合成器ネットワークと多分解能判別器をペアリングする。
推論では、それらを分離し、画像合成器を用いて新しいビューを生成する。
また、我々の提案を最近の3D Gaussian Splatting作業に統合し、レンダリングとスケーラビリティの改善のメリットを強調します。
関連論文リスト
- Pointmap-Conditioned Diffusion for Consistent Novel View Synthesis [2.612019169899311]
単一画像の新規ビュー合成のための新しいフレームワークであるPointmapDiffusionを提案する。
本手法は,参照画像に先立って点マップを条件付き信号として利用し,拡散過程を導出する手法である。
多様な実世界のデータセットの実験により、PointmapDiffusionは高品質でマルチビューの一貫性のある結果が得られることを示した。
論文 参考訳（メタデータ） (2025-01-06T10:48:31Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。
新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。
提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文 参考訳（メタデータ） (2024-03-15T13:40:37Z) - Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。
本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。
我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文 参考訳（メタデータ） (2024-01-23T02:41:06Z) - VET: Visual Error Tomography for Point Cloud Completion and High-Quality
Neural Rendering [4.542331789204584]
本稿では,新しいビュー合成における欠陥の検出と修正のためのニューラルレンダリングに基づく新しいアプローチを提案する。
提案手法は, 動きから得られる点雲の品質を向上させることができることを示す。
点成長技術とは対照的に、この手法は大規模な穴を効果的に修復し、薄い構造を欠くことができる。
論文 参考訳（メタデータ） (2023-11-08T12:23:57Z) - Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance
Fields [63.21420081888606]
最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。
我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
論文 参考訳（メタデータ） (2023-03-29T06:26:55Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Learning A Locally Unified 3D Point Cloud for View Synthesis [45.757280092357355]
ソースビューから局所的に統一された3Dポイントクラウドを学習する深層学習に基づくビュー合成パラダイムを提案する。
3つのベンチマークデータセットによる実験結果から,提案手法は平均PSNRを4dB以上改善できることが示された。
論文 参考訳（メタデータ） (2022-09-12T04:07:34Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - View Synthesis with Sculpted Neural Points [64.40344086212279]
暗黙の神経表現は印象的な視覚的品質を達成したが、計算効率に欠点がある。
本稿では,点雲を用いたビュー合成を行う新しい手法を提案する。
レンダリング速度を100倍以上速くしながら、NeRFよりも視覚的品質を向上する最初のポイントベース手法である。
論文 参考訳（メタデータ） (2022-05-12T03:54:35Z) - IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding
Alignment [58.8330387551499]
我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。
本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。
各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
論文 参考訳（メタデータ） (2022-03-22T10:14:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。