論文の概要: Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2505.02005v1
• Date: Sun, 04 May 2025 06:25:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.374482
• Title: Learning Heterogeneous Mixture of Scene Experts for Large-scale Neural Radiance Fields
• Title（参考訳）: 大規模ニューラルネットワーク分野における現場エキスパートの不均一な混合学習
• Authors: Zhenxing Mi, Ping Yin, Xue Xiao, Dan Xu,
• Abstract要約: 本稿では,Hash Experts (HMoHE) のネットワークである Switch-NeRF++ を紹介する。 エンド・ツー・エンド方式で大規模なシーンに対して、異種分解と異種NeRFを効率的に学習する。 我々の手法は様々な大規模シーンに容易に拡張でき、最先端のシーンレンダリング精度を実現することができる。
• 参考スコア（独自算出の注目度）: 12.738025311598896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent NeRF methods on large-scale scenes have underlined the importance of scene decomposition for scalable NeRFs. Although achieving reasonable scalability, there are several critical problems remaining unexplored, i.e., learnable decomposition, modeling scene heterogeneity, and modeling efficiency. In this paper, we introduce Switch-NeRF++, a Heterogeneous Mixture of Hash Experts (HMoHE) network that addresses these challenges within a unified framework. It is a highly scalable NeRF that learns heterogeneous decomposition and heterogeneous NeRFs efficiently for large-scale scenes in an end-to-end manner. In our framework, a gating network learns to decomposes scenes and allocates 3D points to specialized NeRF experts. This gating network is co-optimized with the experts, by our proposed Sparsely Gated Mixture of Experts (MoE) NeRF framework. We incorporate a hash-based gating network and distinct heterogeneous hash experts. The hash-based gating efficiently learns the decomposition of the large-scale scene. The distinct heterogeneous hash experts consist of hash grids of different resolution ranges, enabling effective learning of the heterogeneous representation of different scene parts. These design choices make our framework an end-to-end and highly scalable NeRF solution for real-world large-scale scene modeling to achieve both quality and efficiency. We evaluate our accuracy and scalability on existing large-scale NeRF datasets and a new dataset with very large-scale scenes ($>6.5km^2$) from UrbanBIS. Extensive experiments demonstrate that our approach can be easily scaled to various large-scale scenes and achieve state-of-the-art scene rendering accuracy. Furthermore, our method exhibits significant efficiency, with an 8x acceleration in training and a 16x acceleration in rendering compared to Switch-NeRF. Codes will be released in https://github.com/MiZhenxing/Switch-NeRF.
• Abstract（参考訳）: 大規模シーンにおける最近のNeRF法は、スケーラブルなNeRFにおけるシーン分解の重要性を浮き彫りにしている。 合理的なスケーラビリティを実現する一方で、学習可能な分解、シーンの不均一性のモデリング、モデリング効率など、未解決のいくつかの重要な問題が残されている。 本稿では,Hash Experts (HMoHE) ネットワークである Switch-NeRF++ を紹介する。 大規模シーンをエンド・ツー・エンドで効率よく、異種分解と異種NeRFを効率よく学習する、高度にスケーラブルなNeRFである。 このフレームワークでは、ゲーティングネットワークがシーンの分解を学習し、3Dポイントを専門のNeRF専門家に割り当てる。 このゲーティングネットワークは,提案したSparsely Gated Mixture of Experts (MoE) NeRFフレームワークによって,専門家と共同で最適化されている。 我々はハッシュベースのゲーティングネットワークと異種ハッシュエキスパートを組み込んだ。 ハッシュベースのゲーティングは、大規模シーンの分解を効率的に学習する。 異種ハッシュの専門家は、異なる解像度範囲のハッシュグリッドで構成されており、異なるシーンの異種表現を効果的に学習することができる。 これらの設計選択により、我々のフレームワークは、品質と効率の両方を達成するために、現実世界の大規模シーンモデリングのためのエンドツーエンドかつ高度にスケーラブルなNeRFソリューションとなる。 我々は,既存の大規模NeRFデータセットと,UrbanBISの大規模シーン(6.5km^2$)の新しいデータセットの精度とスケーラビリティを評価した。 広汎な実験により、我々のアプローチは様々な大規模シーンに容易に拡張でき、最先端のシーンレンダリング精度が達成できることを示した。 さらに,Switch-NeRFと比較して,トレーニングの8倍の高速化,レンダリングの16倍の高速化を実現した。 コードはhttps://github.com/MiZhenxing/Switch-NeRFでリリースされる。

関連論文リスト

• DistGrid: Scalable Scene Reconstruction with Distributed Multi-resolution Hash Grid [10.458776364195796]
  本研究では,DistGrid という名前のマルチレゾリューション・ハッシュ・グリッドを用いた拡張性のあるシーン再構築手法を提案する。 提案手法は,評価されたすべての大規模シーンにおいて既存の手法よりも優れており,視覚的に妥当なシーン再構成を提供する。
  論文  参考訳（メタデータ） (2024-05-07T15:41:20Z)
• Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering [12.272724419136575]
  大規模シーンの高忠実なレンダリングを実現するグローバル誘導焦点型ニューラルレイディアンス場(GF-NeRF)を提案する。 提案手法は,多種多様な大規模データセットに対して,高忠実で自然なレンダリング結果を実現する。
  論文  参考訳（メタデータ） (2024-03-19T15:45:54Z)
• SCALAR-NeRF: SCAlable LARge-scale Neural Radiance Fields for Scene Reconstruction [66.69049158826677]
  本稿では,スケーラブルな大規模ニューラルシーン再構築に適した新しいフレームワークであるSCALAR-NeRFを紹介する。 ニューラル表現をエンコーダ・デコーダアーキテクチャとして構成し、そこではエンコーダが3次元点座標を処理してエンコーダ化された特徴を生成する。 そこで本研究では,これらの局所モデルから出力を抽出し,最終的な再構築を実現するための効率的かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-28T10:18:16Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
  近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。 もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。 本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
  論文  参考訳（メタデータ） (2023-03-24T13:56:45Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• Perceptual Extreme Super Resolution Network with Receptive Field Block [11.557328975199043]
  拡張SRGANに基づく受信フィールドブロックを持つ超解像ネットワークを開発した。 RFB-ESRGANはオブジェクトの検出と分類において競合する結果を得た。
  論文  参考訳（メタデータ） (2020-05-26T09:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。