論文の概要: MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction

• arxiv url: http://arxiv.org/abs/2307.11466v4
• Date: Thu, 17 Aug 2023 09:19:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 22:44:25.155100
• Title: MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction
• Title（参考訳）: matspectnet: domain-aware と physical-constrained hyperspectral reconstruction を用いた材料セグメンテーションネットワーク
• Authors: Yuwen Heng, Yihong Wu, Jiawen Chen, Srinandan Dasmahapatra, Hansung Kim
• Abstract要約: MatSpectNetは、RGB画像から回復したハイパースペクトル画像で材料を分割する新しいモデルである。 現代のカメラにおける色知覚の原理を利用して、再構成されたハイパースペクトル画像を制限する。 平均ピクセル精度は1.60%増加し、最新の出版物と比べて平均クラス精度は3.42%改善している。
• 参考スコア（独自算出の注目度）: 13.451692195639696
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Achieving accurate material segmentation for 3-channel RGB images is challenging due to the considerable variation in a material's appearance. Hyperspectral images, which are sets of spectral measurements sampled at multiple wavelengths, theoretically offer distinct information for material identification, as variations in intensity of electromagnetic radiation reflected by a surface depend on the material composition of a scene. However, existing hyperspectral datasets are impoverished regarding the number of images and material categories for the dense material segmentation task, and collecting and annotating hyperspectral images with a spectral camera is prohibitively expensive. To address this, we propose a new model, the MatSpectNet to segment materials with recovered hyperspectral images from RGB images. The network leverages the principles of colour perception in modern cameras to constrain the reconstructed hyperspectral images and employs the domain adaptation method to generalise the hyperspectral reconstruction capability from a spectral recovery dataset to material segmentation datasets. The reconstructed hyperspectral images are further filtered using learned response curves and enhanced with human perception. The performance of MatSpectNet is evaluated on the LMD dataset as well as the OpenSurfaces dataset. Our experiments demonstrate that MatSpectNet attains a 1.60% increase in average pixel accuracy and a 3.42% improvement in mean class accuracy compared with the most recent publication. The project code is attached to the supplementary material and will be published on GitHub.
• Abstract（参考訳）: 3チャンネルのrgb画像の正確な材質分割を達成することは、材料の外観にかなりのばらつきがあるため困難である。 複数の波長でサンプリングされたスペクトルのセットである超スペクトル画像は、表面から反射される電磁波の強度の変動がシーンの材料組成に依存するため、理論的に物質識別のための異なる情報を提供する。 しかし, 既存のハイパースペクトルデータセットは, 高密度材料分割作業における画像や材料カテゴリの数が不足しているため, スペクトルカメラによるハイパースペクトル画像の収集・注釈は極めて高価である。 そこで我々は,RGB画像から高スペクトル像を復元した材料を分割する新しいモデルであるMatSpectNetを提案する。 ネットワークは、再構成されたハイパースペクトル画像を制限するために、現代のカメラにおける色知覚の原理を活用し、スペクトル回復データセットから材料セグメンテーションデータセットへのハイパースペクトル再構成機能を一般化するドメイン適応法を採用している。 再構成されたハイパースペクトル画像は、さらに学習応答曲線を用いてフィルタされ、人間の知覚により強化される。 MatSpectNetのパフォーマンスは、LMDデータセットとOpenSurfacesデータセットで評価される。 実験の結果,matspectnetは平均画素精度が1.60%向上し,平均クラス精度が3.42%向上した。 プロジェクトコードは補足資料に添付され、githubで公開される予定だ。

関連論文リスト

• Towards virtual painting recolouring using Vision Transformer on X-Ray Fluorescence datacubes [80.32085982862151]
  画像アートにおけるX線蛍光(XRF)分析の生データを用いて仮想絵画再構成を行うパイプラインを定義する。 データセットサイズを小さくするために、XRFスペクトルのデータベースから始まる合成データセットを生成する。 我々は、XRFスペクトルを低次元K平均対応計量空間に埋め込むための深部変分埋め込みネットワークを定義する。
  論文  参考訳（メタデータ） (2024-10-11T14:05:28Z)
• Hyperspectral Dataset and Deep Learning methods for Waste from Electric and Electronic Equipment Identification (WEEE) [0.0]
  ハイパースペクトル画像分割のための多種多様なディープラーニングアーキテクチャの性能を評価する。 その結果,空間情報をスペクトルデータと組み合わせることで,セグメンテーション結果が改善された。 我々は、Tecnalia WEEE Hyperspectralデータセットのクリーニングと公開によって、この分野に貢献する。
  論文  参考訳（メタデータ） (2024-07-05T13:45:11Z)
• OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction [54.706361479680055]
  295個の異なる材料からなる1001個のオブジェクトからなるOpenMaterialデータセットを紹介した。 OpenMaterialは3D形状、マテリアルタイプ、カメラポーズ、深さ、オブジェクトマスクなど、包括的なアノテーションを提供する。 これは、多様で挑戦的な材料を持つオブジェクト上で、既存のアルゴリズムの定量的評価を可能にする最初の大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T07:46:17Z)
• RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
  複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。 画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。 このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
  論文  参考訳（メタデータ） (2024-04-11T14:05:37Z)
• Limitations of Data-Driven Spectral Reconstruction -- Optics-Aware Analysis and Mitigation [22.07699685165064]
  コスト効率のよいRGBカメラで撮影したRGB画像からスペクトル情報を抽出することを目的とした,データ駆動型スペクトル再構成の最近の取り組み。 我々は、現在のデータセットとオーバーフィッティングに関する実用的制限と、RGB画像に符号化された情報の性質に関する基本的な制限の両方を評価する。 本稿では,メタデータデータ拡張と光学レンズ収差の組み合わせを利用して,RGB画像へのメタデータ情報の符号化を改善することを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:46:45Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• Object Detection in Hyperspectral Image via Unified Spectral-Spatial Feature Aggregation [55.9217962930169]
  S2ADetは、高スペクトル画像に固有の豊富なスペクトル情報と空間補完情報を利用する物体検出器である。 S2ADetは既存の最先端メソッドを超え、堅牢で信頼性の高い結果を達成する。
  論文  参考訳（メタデータ） (2023-06-14T09:01:50Z)
• MS-PS: A Multi-Scale Network for Photometric Stereo With a New Comprehensive Training Dataset [0.0]
  光度ステレオ(PS)問題は、物体の3次元表面を再構成することである。 そこで我々は,PSのマルチスケールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-25T14:01:54Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Angular Luminance for Material Segmentation [6.374538197161135]
  移動カメラは1ピクセルあたりの複数の強度測定を提供するが、セマンティックセグメンテーション、材料認識、オブジェクト認識ではこの情報は利用できない。 我々は、表面の物質を識別する鍵となる特徴として、画素ごとの角の輝度分布を利用する。 現実世界の物質には、アンギュラー輝度ネットワーク(AngLNet)を構築することで管理できるクラス内変異が顕著である。
  論文  参考訳（メタデータ） (2020-09-22T21:15:27Z)
• Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery [79.69449412334188]
  本稿では,最先端の残差学習をベースとした単一グレー/RGB画像の超解像化手法について検討する。 本稿では,空間情報とハイパースペクトルデータのスペクトル間の相関をフル活用するための空間スペクトル先行ネットワーク(SSPN)を提案する。 実験結果から,SSPSR法により高分解能高分解能高分解能画像の詳細が得られた。
  論文  参考訳（メタデータ） (2020-05-18T14:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。