論文の概要: To View Transform or Not to View Transform: NeRF-based Pre-training Perspective

• arxiv url: http://arxiv.org/abs/2603.28090v1
• Date: Mon, 30 Mar 2026 06:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.265296
• Title: To View Transform or Not to View Transform: NeRF-based Pre-training Perspective
• Title（参考訳）: 変換の視認・視認:NeRFによる事前学習の視点から
• Authors: Hyeonjun Jeong, Juyeb Shin, Dongsuk Kum,
• Abstract要約: 本研究では, 連続した3次元表現を学習し, ビュー変換の誤りを回避できる新しいNeRF-Resembled Pointベースの3D検出器を提案する。 NeRP3Dは、タスクに関わらず、事前訓練されたNeRFネットワークを保持し、連続した3D表現学習の原則を継承する。
• 参考スコア（独自算出の注目度）: 15.748407383575604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRFs) have emerged as a prominent pre-training paradigm for vision-centric autonomous driving, which enhances 3D geometry and appearance understanding in a fully self-supervised manner. To apply NeRF-based pretraining to 3D perception models, recent approaches have simply applied NeRFs to volumetric features obtained from view transformation. However, coupling NeRFs with view transformation inherits conflicting priors; view transformation imposes discrete and rigid representations, whereas radiance fields assume continuous and adaptive functions. When these opposing assumptions are forced into a single pipeline, the misalignment surfaces as blurry and ambiguous 3D representations that ultimately limit 3D scene understanding. Moreover, the NeRF network for pre-training is discarded during downstream tasks, resulting in inefficient utilization of enhanced 3D representations through NeRF. In this paper, we propose a novel NeRF-Resembled Point-based 3D detector that can learn continuous 3D representation and thus avoid the misaligned priors from view transformation. NeRP3D preserves the pre-trained NeRF network regardless of the tasks, inheriting the principle of continuous 3D representation learning and leading to greater potentials for both scene reconstruction and detection tasks. Experiments on nuScenes dataset demonstrate that our proposed approach significantly improves previous state-of-the-art methods, outperforming not only pretext scene reconstruction tasks but also downstream detection tasks.
• Abstract（参考訳）: ニューラルラディアンス場(NeRF)は、視覚中心の自律運転のための顕著な事前訓練パラダイムとして現れ、完全に自己管理された方法で3次元幾何学と外観理解を高めている。 3次元知覚モデルにNeRFを用いた事前学習を適用するために、近年のアプローチでは、ビュー変換から得られるボリューム特徴にNeRFを単純に適用している。 しかし、ビュー変換とNeRFの結合は相反する先行を継承し、ビュー変換は離散的かつ厳密な表現を課し、ラディアンス場は連続的かつ適応的な関数を仮定する。 これらの対立する仮定が単一のパイプラインに強制されると、不一致は曖昧で曖昧な3D表現として表され、最終的には3Dシーンの理解が制限される。 さらに, 下流タスクにおいて, 事前学習のためのNeRFネットワークを廃止し, 改良された3次元表現の非効率利用を実現した。 本稿では、連続した3次元表現を学習し、不整合した先行をビュー変換から回避できる新しいNeRF-Resembled Pointベースの3D検出器を提案する。 NeRP3Dは、タスクに関わらず事前訓練されたNeRFネットワークを保持し、連続的な3D表現学習の原則を継承し、シーン再構築と検出の両方のタスクにより大きな可能性をもたらす。 nuScenesデータセットを用いた実験により,提案手法は従来手法よりも格段に改善され,プリテキストシーン再構築タスクだけでなく,下流検出タスクよりも優れていた。

関連論文リスト

• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Registering Neural Radiance Fields as 3D Density Images [55.64859832225061]
  我々は,様々な場面でトレーニングやテストが可能な,普遍的な事前学習型ニューラルネットワークを提案する。 我々は,グローバルアプローチとして,NeRFモデルを効果的に登録できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T09:08:46Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Learning Neural Radiance Fields from Multi-View Geometry [1.1011268090482573]
  画像に基づく3次元再構成のために,多視点幾何アルゴリズムとニューラルレージアンス場(NeRF)を組み合わせたMVG-NeRF(MVG-NeRF)というフレームワークを提案する。 NeRFは暗黙の3D表現の分野に革命をもたらした。
  論文  参考訳（メタデータ） (2022-10-24T08:53:35Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。