論文の概要: UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2506.21884v1
• Date: Fri, 27 Jun 2025 03:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.074973
• Title: UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields
• Title（参考訳）: UnMix-NeRF: スペクトルアンミキシングはニューラル・ラジアンス・フィールドと出会う
• Authors: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem,
• Abstract要約: UnMix-NeRFは、スペクトルアンミックスをNeural Radiance Field(NeRF)に統合するフレームワーク 提案手法は,グローバルエンドメンバの学習辞書が純粋な材料シグネチャを表す場合の,拡散成分とスペクトル成分によるスペクトル反射率をモデル化する。 材料セグメンテーションでは、学習したエンドメンバーに沿ってスペクトルシグネチャ予測を用い、教師なしの材料クラスタリングを可能にする。
• 参考スコア（独自算出の注目度）: 44.44788548423704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)に基づくセグメンテーション法は、オブジェクトのセマンティクスに焦点をあて、RGBデータにのみ依存し、固有の材料特性を欠いている。 この制限は、ロボット工学、拡張現実、シミュレーション、その他の用途に不可欠な、正確な物質知覚を制限する。 我々は、スペクトルアンミックスをNeRFに統合するフレームワークUnMix-NeRFを導入し、関節型ハイパースペクトルノベルビュー合成と教師なし材料セグメンテーションを可能にした。 提案手法は,グローバルエンドメンバの学習辞書が純粋な材料シグネチャを表現し,ポイント当たりの反射率が分布をキャプチャする,拡散成分と特異成分によるスペクトル反射率をモデル化する。 材料セグメンテーションでは、学習したエンドメンバーに沿ってスペクトルシグネチャ予測を用い、教師なしの材料クラスタリングを可能にする。 さらに、UnMix-NeRFは、学習した終末辞書を編集して、柔軟な素材ベースの外観操作を可能にする。 大規模な実験により,既存の手法に優れたスペクトル再構成と材料セグメンテーションを実証し,本手法の有効性を検証した。 プロジェクトページ: https://www.factral.co/UnMix-NeRF

関連論文リスト

• SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field [70.15900280156262]
  本稿では,新しいスペクトルの観点から,高品質な物理ベースレンダリングのためのエンドツーエンドニューラルラジアンスフィールド(NeRF)アーキテクチャを提案する。 スペクトルNeRFは、合成データセットと実データセットの新しいビューを合成する際に、最近のNeRFベースの方法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-14T07:19:31Z)
• MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction [13.451692195639696]
  MatSpectNetは、RGB画像から回復したハイパースペクトル画像で材料を分割する新しいモデルである。 現代のカメラにおける色知覚の原理を利用して、再構成されたハイパースペクトル画像を制限する。 平均ピクセル精度は1.60%増加し、最新の出版物と比べて平均クラス精度は3.42%改善している。
  論文  参考訳（メタデータ） (2023-07-21T10:02:02Z)
• IBL-NeRF: Image-Based Lighting Formulation of Neural Radiance Fields [12.056350920398396]
  大規模屋内シーンのニューラル放射場(NeRF)を固有成分に分解するIRB-NeRFを提案する。 提案手法は,合成画像や固有成分に対して,優れた視覚的品質とマルチビューの整合性を継承する。
  論文  参考訳（メタデータ） (2022-10-15T05:38:55Z)
• NeRF-SOS: Any-View Self-supervised Object Segmentation from Complex Real-World Scenes [80.59831861186227]
  本論文では,複雑な現実世界のシーンに対して,NeRFを用いたオブジェクトセグメンテーションのための自己教師型学習の探索を行う。 我々のフレームワークは、NeRF(NeRF with Self-supervised Object NeRF-SOS)と呼ばれ、NeRFモデルがコンパクトな幾何認識セグメンテーションクラスタを蒸留することを奨励している。 他の2Dベースの自己教師付きベースラインを一貫して上回り、既存の教師付きマスクよりも細かなセマンティクスマスクを予測する。
  論文  参考訳（メタデータ） (2022-09-19T06:03:17Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Constrained Nonnegative Matrix Factorization for Blind Hyperspectral Unmixing incorporating Endmember Independence [0.0]
  本稿では,KbSNMF(Kurtosis-based Smooth Non negative Matrix Factorization)と呼ばれる新しいブラインドHUアルゴリズムを提案する。 終端スペクトルの確率密度関数の統計的独立性に基づく新しい制約が組み込まれている。 これは特に高スペクトルデータからエンドメンバースペクトルを抽出するという点で優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-02T17:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。