論文の概要: MatSpectNet: Material Segmentation Network with Domain-Aware and
Physically-Constrained Hyperspectral Reconstruction
- arxiv url: http://arxiv.org/abs/2307.11466v4
- Date: Thu, 17 Aug 2023 09:19:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 22:44:25.155100
- Title: MatSpectNet: Material Segmentation Network with Domain-Aware and
Physically-Constrained Hyperspectral Reconstruction
- Title(参考訳): matspectnet: domain-aware と physical-constrained hyperspectral reconstruction を用いた材料セグメンテーションネットワーク
- Authors: Yuwen Heng, Yihong Wu, Jiawen Chen, Srinandan Dasmahapatra, Hansung
Kim
- Abstract要約: MatSpectNetは、RGB画像から回復したハイパースペクトル画像で材料を分割する新しいモデルである。
現代のカメラにおける色知覚の原理を利用して、再構成されたハイパースペクトル画像を制限する。
平均ピクセル精度は1.60%増加し、最新の出版物と比べて平均クラス精度は3.42%改善している。
- 参考スコア(独自算出の注目度): 13.451692195639696
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Achieving accurate material segmentation for 3-channel RGB images is
challenging due to the considerable variation in a material's appearance.
Hyperspectral images, which are sets of spectral measurements sampled at
multiple wavelengths, theoretically offer distinct information for material
identification, as variations in intensity of electromagnetic radiation
reflected by a surface depend on the material composition of a scene. However,
existing hyperspectral datasets are impoverished regarding the number of images
and material categories for the dense material segmentation task, and
collecting and annotating hyperspectral images with a spectral camera is
prohibitively expensive. To address this, we propose a new model, the
MatSpectNet to segment materials with recovered hyperspectral images from RGB
images. The network leverages the principles of colour perception in modern
cameras to constrain the reconstructed hyperspectral images and employs the
domain adaptation method to generalise the hyperspectral reconstruction
capability from a spectral recovery dataset to material segmentation datasets.
The reconstructed hyperspectral images are further filtered using learned
response curves and enhanced with human perception. The performance of
MatSpectNet is evaluated on the LMD dataset as well as the OpenSurfaces
dataset. Our experiments demonstrate that MatSpectNet attains a 1.60% increase
in average pixel accuracy and a 3.42% improvement in mean class accuracy
compared with the most recent publication. The project code is attached to the
supplementary material and will be published on GitHub.
- Abstract(参考訳): 3チャンネルのrgb画像の正確な材質分割を達成することは、材料の外観にかなりのばらつきがあるため困難である。
複数の波長でサンプリングされたスペクトルのセットである超スペクトル画像は、表面から反射される電磁波の強度の変動がシーンの材料組成に依存するため、理論的に物質識別のための異なる情報を提供する。
しかし, 既存のハイパースペクトルデータセットは, 高密度材料分割作業における画像や材料カテゴリの数が不足しているため, スペクトルカメラによるハイパースペクトル画像の収集・注釈は極めて高価である。
そこで我々は,RGB画像から高スペクトル像を復元した材料を分割する新しいモデルであるMatSpectNetを提案する。
ネットワークは、再構成されたハイパースペクトル画像を制限するために、現代のカメラにおける色知覚の原理を活用し、スペクトル回復データセットから材料セグメンテーションデータセットへのハイパースペクトル再構成機能を一般化するドメイン適応法を採用している。
再構成されたハイパースペクトル画像は、さらに学習応答曲線を用いてフィルタされ、人間の知覚により強化される。
MatSpectNetのパフォーマンスは、LMDデータセットとOpenSurfacesデータセットで評価される。
実験の結果,matspectnetは平均画素精度が1.60%向上し,平均クラス精度が3.42%向上した。
プロジェクトコードは補足資料に添付され、githubで公開される予定だ。
関連論文リスト
- SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳(メタデータ) (2023-11-13T07:09:30Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-21T06:59:07Z) - Object Detection in Hyperspectral Image via Unified Spectral-Spatial
Feature Aggregation [55.9217962930169]
S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。
S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
論文 参考訳(メタデータ) (2023-06-14T09:01:50Z) - Learning to Recover Spectral Reflectance from RGB Images [16.925196782387857]
RGB画像からのスペクトル反射率回復(SRR)は困難で費用がかかる。
既存のほとんどのアプローチは、合成画像に基づいて訓練され、見知らぬすべてのテスト画像に同じパラメータを使用する。
本稿では,訓練済みのネットワークパラメータを各テスト画像に微調整し,外部情報と内部情報を組み合わせた自己教師付きメタ補助学習(MAXL)戦略を提案する。
論文 参考訳(メタデータ) (2023-04-04T23:27:02Z) - MS-PS: A Multi-Scale Network for Photometric Stereo With a New
Comprehensive Training Dataset [0.0]
光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。
そこで我々は,PSのマルチスケールアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-11-25T14:01:54Z) - Multi-Scale Iterative Refinement Network for RGB-D Salient Object
Detection [7.062058947498447]
RGB画像の様々なスケールや解像度に、様々な特徴レベルの意味的ギャップがあるため、健全な視覚的手がかりが現れる。
同様のサージェントパターンは、クロスモーダルなディープイメージとマルチスケールバージョンで利用できる。
注意に基づく融合モジュール (ABF) を設計し, 相互相関に対処する。
論文 参考訳(メタデータ) (2022-01-24T10:33:00Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Angular Luminance for Material Segmentation [6.374538197161135]
移動カメラは1ピクセルあたりの複数の強度測定を提供するが、セマンティックセグメンテーション、材料認識、オブジェクト認識ではこの情報は利用できない。
我々は、表面の物質を識別する鍵となる特徴として、画素ごとの角の輝度分布を利用する。
現実世界の物質には、アンギュラー輝度ネットワーク(AngLNet)を構築することで管理できるクラス内変異が顕著である。
論文 参考訳(メタデータ) (2020-09-22T21:15:27Z) - Differential Viewpoints for Ground Terrain Material Recognition [32.91058153755717]
我々は、自律運転やロボットナビゲーションなどの応用のための地上地形認識を支援する大規模物質データベースを構築した。
我々は,RGB情報の深部符号化と,角度勾配特徴に対する微分角画像を組み合わせた,テクスチャ符号化型角ネットワーク(TEAN)と呼ばれる新しい材料認識手法を開発した。
その結果,TEANは単一ビュー性能と標準(非微分/大角サンプリング)マルチビュー性能を超越した認識性能を実現していることがわかった。
論文 参考訳(メタデータ) (2020-09-22T02:57:28Z) - Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral
Imagery [79.69449412334188]
本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。
本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。
実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
論文 参考訳(メタデータ) (2020-05-18T14:25:50Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。