論文の概要: Physics-Free Spectrally Multiplexed Photometric Stereo under Unknown Spectral Composition
- arxiv url: http://arxiv.org/abs/2410.20716v1
- Date: Mon, 28 Oct 2024 04:03:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:22:31.629550
- Title: Physics-Free Spectrally Multiplexed Photometric Stereo under Unknown Spectral Composition
- Title(参考訳): 未知のスペクトル組成下における物理自由スペクトル多重光度ステレオ
- Authors: Satoshi Ikehata, Yuta Asano,
- Abstract要約: 照明やセンサの調整を必要とせずに、表面の正常を回復するための地上多重光度ステレオ手法を提案する。
スペクトルあいまいさを利点として受け入れることで、特殊なマルチスペクトルレンダリングフレームワークを使わずにトレーニングデータを生成することができる。
物理のないユニークなネットワークアーキテクチャであるSpectraM-PSを導入し、多重化画像を効果的に処理して表面の正規性を決定する。
- 参考スコア(独自算出の注目度): 10.620997969499205
- License:
- Abstract: In this paper, we present a groundbreaking spectrally multiplexed photometric stereo approach for recovering surface normals of dynamic surfaces without the need for calibrated lighting or sensors, a notable advancement in the field traditionally hindered by stringent prerequisites and spectral ambiguity. By embracing spectral ambiguity as an advantage, our technique enables the generation of training data without specialized multispectral rendering frameworks. We introduce a unique, physics-free network architecture, SpectraM-PS, that effectively processes multiplexed images to determine surface normals across a wide range of conditions and material types, without relying on specific physically-based knowledge. Additionally, we establish the first benchmark dataset, SpectraM14, for spectrally multiplexed photometric stereo, facilitating comprehensive evaluations against existing calibrated methods. Our contributions significantly enhance the capabilities for dynamic surface recovery, particularly in uncalibrated setups, marking a pivotal step forward in the application of photometric stereo across various domains.
- Abstract(参考訳): 本稿では,光やセンサの校正を必要とせず,動的表面の表面の正常性を取り戻すためのスペクトル多重光度ステレオアプローチを提案する。
スペクトルあいまいさを利点として受け入れることで、特殊なマルチスペクトルレンダリングフレームワークを使わずにトレーニングデータを生成することができる。
物理的知識に頼らずに、多面体画像を効果的に処理し、様々な条件や材料タイプで表面の正規性を決定する、ユニークな物理自由ネットワークアーキテクチャであるSpectraM-PSを導入する。
さらに、スペクトル多重光度ステレオのための最初のベンチマークデータセットSpectraM14を構築し、既存の校正手法に対する包括的な評価を容易にする。
我々の貢献は動的表面の回復能力を大幅に向上させ、特に校正されていないセットアップにおいて、様々な領域にわたる測光ステレオの適用において重要な一歩を踏み出した。
関連論文リスト
- Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。
照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。
提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳(メタデータ) (2024-11-06T03:30:46Z) - Correlation Hyperspectral Imaging [0.0]
ハイパースペクトルイメージングは、高解像度で光の空間分布とスペクトル分布の両方に関する情報を提供することを目的としている。
従来のハイパースペクトル画像技術の典型的な欠点を克服できる光強度相関を利用して、この制限に対処する。
空間・スペクトルの高分解能化,高速化,望ましくないスペクトル特性に対する感度化の両立は,ハイパースペクトルイメージング装置のパラダイム変更につながる。
論文 参考訳(メタデータ) (2024-07-18T19:54:44Z) - RMAFF-PSN: A Residual Multi-Scale Attention Feature Fusion Photometric Stereo Network [37.759675702107586]
複雑な構造空間材料変化領域における2次元画像からの物体の正確な地図の予測は困難である。
画像の解像度の異なるステージとスケールから特徴情報を校正する手法を提案する。
このアプローチは、複雑な領域における物体のテクスチャや幾何学といった、より物理的な情報を保存する。
論文 参考訳(メタデータ) (2024-04-11T14:05:37Z) - SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。
既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。
我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
論文 参考訳(メタデータ) (2023-11-13T07:09:30Z) - Unsupervised Spectral Demosaicing with Lightweight Spectral Attention
Networks [6.7433262627741914]
本稿では、教師なしで訓練された深層学習に基づくスペクトル復調手法を提案する。
提案手法は, 空間歪み抑制, スペクトル忠実度, 頑健性, 計算コストの観点から, 従来の教師なし手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-05T02:45:44Z) - Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。
深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
論文 参考訳(メタデータ) (2022-12-16T11:27:44Z) - NeuralMPS: Non-Lambertian Multispectral Photometric Stereo via Spectral
Reflectance Decomposition [47.5182946590776]
我々は、一般の非ランベルトスペクトル反射下でのMPS問題を解決するために、NeuralMPSというディープニューラルネットワークを提案する。
均一な材料を持つ表面のMPS問題は、未知の光強度を持つ従来の測光ステレオ(CPS)と等価であることを示す。
論文 参考訳(メタデータ) (2022-11-28T13:46:17Z) - Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image
Reconstruction [127.20208645280438]
ハイパースペクトル画像(HSI)再構成は、2次元計測から3次元空間スペクトル信号を復元することを目的としている。
スペクトル間相互作用のモデル化は、HSI再構成に有用である。
Mask-guided Spectral-wise Transformer (MST) は,HSI再構成のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-15T16:59:48Z) - Non-Photorealistic Rendering of Layered Materials: A Multispectral
Approach [0.0]
生体試料中の層状物質を可視化するためのマルチスペクトルレンダリング技術を提案する。
非フォトリアリスティックレンダリング(NPR)において近赤外および紫外スペクトルから取得したデータを最初に利用する。
論文 参考訳(メタデータ) (2021-09-02T08:40:05Z) - Learning Inter- and Intra-frame Representations for Non-Lambertian
Photometric Stereo [14.5172791293107]
2段階の畳み込みニューラルネットワーク(CNN)アーキテクチャを構築し、フレーム間およびフレーム内表現を構築します。
フレーム間およびフレーム間特徴抽出モジュールを配置する最適スキームを特定するために,ネットワーク設計の代替案を多数検討した。
論文 参考訳(メタデータ) (2020-12-26T11:22:56Z) - Hyperspectral-Multispectral Image Fusion with Weighted LASSO [68.04032419397677]
本稿では,高スペクトル像と多スペクトル像を融合させて高画質な高スペクトル出力を実現する手法を提案する。
提案したスパース融合と再構成は,既存の公開画像の手法と比較して,定量的に優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2020-03-15T23:07:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。