論文の概要: Modulate and Reconstruct: Learning Hyperspectral Imaging from Misaligned Smartphone Views

• arxiv url: http://arxiv.org/abs/2507.01835v1
• Date: Wed, 02 Jul 2025 15:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.369143
• Title: Modulate and Reconstruct: Learning Hyperspectral Imaging from Misaligned Smartphone Views
• Title（参考訳）: 変調と再構成:不整合スマートフォンからのハイパースペクトル画像の学習
• Authors: Daniil Reutsky, Daniil Vladimirov, Yasin Mamedov, Georgy Perevozchikov, Nancy Mehta, Egor Ershov, Radu Timofte,
• Abstract要約: RGB画像からのハイパースペクトル再構成は、深刻なスペクトル情報損失による根本的な問題である。 既存のアプローチは通常、単一のRGBイメージに依存し、再構成の精度を制限している。 本稿では,トリプルカメラスマートフォンシステムを活用したMI-HSR(Multi-image-to-hyperspectral Restruction)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.84937150341154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperspectral reconstruction (HSR) from RGB images is a fundamentally ill-posed problem due to severe spectral information loss. Existing approaches typically rely on a single RGB image, limiting reconstruction accuracy. In this work, we propose a novel multi-image-to-hyperspectral reconstruction (MI-HSR) framework that leverages a triple-camera smartphone system, where two lenses are equipped with carefully selected spectral filters. Our configuration, grounded in theoretical and empirical analysis, enables richer and more diverse spectral observations than conventional single-camera setups. To support this new paradigm, we introduce Doomer, the first dataset for MI-HSR, comprising aligned images from three smartphone cameras and a hyperspectral reference camera across diverse scenes. We show that the proposed HSR model achieves consistent improvements over existing methods on the newly proposed benchmark. In a nutshell, our setup allows 30% towards more accurately estimated spectra compared to an ordinary RGB camera. Our findings suggest that multi-view spectral filtering with commodity hardware can unlock more accurate and practical hyperspectral imaging solutions.
• Abstract（参考訳）: RGB画像からの高スペクトル再構成(HSR)は、スペクトル情報損失が激しいため、根本的な問題である。 既存のアプローチは通常、単一のRGBイメージに依存し、再構成の精度を制限している。 本研究では、トリプルカメラスマートフォンシステムを利用して、2つのレンズが慎重に選択されたスペクトルフィルタを備える、新しいマルチイメージ・ハイパースペクトル再構成(MI-HSR)フレームワークを提案する。 我々の構成は、理論的および経験的分析に基づいており、従来の単一カメラ装置よりも豊かで多様な分光観測を可能にしている。 この新しいパラダイムをサポートするために,MI-HSRの最初のデータセットであるDoomerを紹介した。 提案したHSRモデルは,提案したベンチマークで既存手法よりも一貫した改善を実現する。 簡単に言うと、通常のRGBカメラに比べて30%の精度でスペクトルを推定できるのです。 以上の結果から,コモディティハードウェアを用いたマルチビュースペクトルフィルタリングにより,より正確かつ実用的なハイパースペクトルイメージングソリューションが実現できることが示唆された。

関連論文リスト

• Multispectral Demosaicing via Dual Cameras [29.349707272903835]
  マルチスペクトル(MS)画像は、幅広いスペクトル帯域にわたる詳細なシーン情報をキャプチャする。 MSデータの処理において重要なステップはデモサイシングであり、カメラが捉えたモザイクMS画像から色情報を再構成する。 本稿では、RGBとMSの両方が同一シーンを撮影するデュアルカメラ用に特別に設計されたMS画像復調方法を提案する。
  論文  参考訳（メタデータ） (2025-03-27T22:40:55Z)
• Joint RGB-Spectral Decomposition Model Guided Image Enhancement in Mobile Photography [36.4031416416813]
  拡張を導いたRGBスペクトル分解モデルを提案する。 我々は,RGBと低分解能マルチスペクトル画像(Lr-MSI)のセナリティを活用し,シェーディング,反射率,物質意味の先行を予測した。 これらの事前情報は、ダイナミックレンジ拡張、カラーマッピング、グリッドエキスパート学習を促進するために、確立されたHDRNetにシームレスに統合される。
  論文  参考訳（メタデータ） (2024-07-25T12:43:41Z)
• Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations [61.448005005426666]
  スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。 本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2024-05-03T15:20:30Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。