論文の概要: A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging
- arxiv url: http://arxiv.org/abs/2407.19282v1
- Date: Sat, 27 Jul 2024 15:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 19:01:38.798850
- Title: A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging
- Title（参考訳）: 画像診断における高スペクトル分解とRGB再構成の自己監督的・対向的アプローチ
- Authors: Peichao Li, Oscar MacCormac, Jonathan Shapey, Tom Vercauteren,
- Abstract要約: ハイパースペクトルイメージングは、肉眼では見えない詳細な情報を持つ生体組織分化機能を提供することによって、外科的イメージングにおいて有望である。
術中誘導のためには、リアルタイムのスペクトルデータキャプチャと表示が義務付けられている。この要件から、現在、スナップショットモザイクハイパースペクトルカメラが最も適した技術であると見なされている。
本稿では,2組の高分解能データに依存しない自己教師型復号法とRGB再構成法を提案する。
- 参考スコア（独自算出の注目度）: 3.426432165500852
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperspectral imaging holds promises in surgical imaging by offering biological tissue differentiation capabilities with detailed information that is invisible to the naked eye. For intra-operative guidance, real-time spectral data capture and display is mandated. Snapshot mosaic hyperspectral cameras are currently seen as the most suitable technology given this requirement. However, snapshot mosaic imaging requires a demosaicking algorithm to fully restore the spatial and spectral details in the images. Modern demosaicking approaches typically rely on synthetic datasets to develop supervised learning methods, as it is practically impossible to simultaneously capture both snapshot and high-resolution spectral images of the exact same surgical scene. In this work, we present a self-supervised demosaicking and RGB reconstruction method that does not depend on paired high-resolution data as ground truth. We leverage unpaired standard high-resolution surgical microscopy images, which only provide RGB data but can be collected during routine surgeries. Adversarial learning complemented by self-supervised approaches are used to drive our hyperspectral-based RGB reconstruction into resembling surgical microscopy images and increasing the spatial resolution of our demosaicking. The spatial and spectral fidelity of the reconstructed hyperspectral images have been evaluated quantitatively. Moreover, a user study was conducted to evaluate the RGB visualisation generated from these spectral images. Both spatial detail and colour accuracy were assessed by neurosurgical experts. Our proposed self-supervised demosaicking method demonstrates improved results compared to existing methods, demonstrating its potential for seamless integration into intra-operative workflows.
- Abstract（参考訳）: ハイパースペクトルイメージングは、肉眼では見えない詳細な情報を持つ生体組織分化機能を提供することによって、外科的イメージングにおいて有望である。
術中ガイダンスには、リアルタイムのスペクトルデータキャプチャと表示が義務付けられている。
スナップショットモザイクハイパースペクトルカメラは、この要件を考えると、現在最も適した技術と見なされている。
しかし、スナップショットモザイク画像は、画像の空間的およびスペクトル的詳細を完全に復元するために、デモサイクリングアルゴリズムを必要とする。
現代のデモサイクリングアプローチは一般的に、同じ手術シーンのスナップショットと高解像度の分光画像の両方を同時にキャプチャすることは事実上不可能であるため、教師付き学習手法を開発するために合成データセットに依存している。
本研究では,2組の高分解能データに依存しない自己教師型復号法とRGB再構成法を提案する。
我々は、RGBデータのみを提供するが、定期的な手術で収集できる、未使用の標準高分解能顕微鏡画像を活用する。
自己指導的アプローチによって補完される対人学習は、我々のハイパースペクトルベースのRGB再構成を、手術用顕微鏡画像に似たものにし、デモショッキングの空間分解能を高めるために使用される。
再構成したハイパースペクトル画像の空間的およびスペクトル的忠実度を定量的に評価した。
さらに,これらのスペクトル画像から生成したRGBの可視化を評価するために,ユーザスタディを行った。
空間的細部と色の精度は神経外科の専門家によって評価された。
提案手法は従来の方法と比較して改善された結果を示し,術中ワークフローへのシームレスな統合の可能性を示した。
関連論文リスト
- RGB to Hyperspectral: Spectral Reconstruction for Enhanced Surgical Imaging [7.2993064695496255]
そこで本研究では,RGBデータから高スペクトル信号の再構成を行い,画像診断の精度向上を図る。
畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに基づく各種アーキテクチャの評価を行った。
変換器モデルはRMSE、SAM、PSNR、SSIMの点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-17T14:05:41Z) - A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - mHealth hyperspectral learning for instantaneous spatiospectral imaging
of hemodynamics [0.2638512174804417]
ハイパースペクトル学習は、写真は単なる写真ではなく、詳細なスペクトル情報を含むという考えを生かしている。
ハイパースペクトルデータの小さなサンプリングにより、スペクトル情報による学習により、RGB画像からハイパーキューブを復元することができる。
ハイパースペクトル学習は、科学的分光計の高スペクトル分解能に匹敵する、ハイパーキューブの完全な分光分解能を回復することができる。
論文 参考訳（メタデータ） (2023-03-27T15:12:10Z) - Spatial gradient consistency for unsupervised learning of hyperspectral
demosaicking: Application to surgical imaging [4.795951381086172]
ハイパースペクトルイメージングは、組織の特徴化をリアルタイムで、高解像度で改善する可能性がある。
スナップショット画像の空間的・スペクトル的情報を完全に復元するには,復号化アルゴリズムが必要である。
トレーニング目的のスナップショット画像のみを必要とする、完全に教師なしのハイパースペクトル画像復号アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-21T18:07:14Z) - OADAT: Experimental and Synthetic Clinical Optoacoustic Data for
Standardized Image Processing [62.993663757843464]
オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。
OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。
臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
論文 参考訳（メタデータ） (2022-06-17T08:11:26Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳（メタデータ） (2022-03-31T13:14:00Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Deep Learning Approach for Hyperspectral Image Demosaicking, Spectral
Correction and High-resolution RGB Reconstruction [3.0478210530038443]
教師付き学習手法を用いたハイパースペクトル画像のスナップショット化のための深層学習に基づく画像復号アルゴリズムを提案する。
医用画像が公開されていないため,既存の医用画像データセットからのスナップショット画像をシミュレートする合成画像生成手法が提案されている。
得られたデシック画像は定量的かつ質的に評価され、画像品質の明確な改善が示される。
論文 参考訳（メタデータ） (2021-09-03T09:50:03Z) - Spectral-Spatial Recurrent-Convolutional Networks for In-Vivo
Hyperspectral Tumor Type Classification [49.32653090178743]
ハイパースペクトル画像とディープラーニングを用いたin-vivo腫瘍型分類の可能性を示した。
我々の最良のモデルは76.3%のAUCを達成し、従来の学習手法とディープラーニング手法を著しく上回っている。
論文 参考訳（メタデータ） (2020-07-02T12:00:53Z) - Hyperspectral-Multispectral Image Fusion with Weighted LASSO [68.04032419397677]
本稿では,高スペクトル像と多スペクトル像を融合させて高画質な高スペクトル出力を実現する手法を提案する。
提案したスパース融合と再構成は,既存の公開画像の手法と比較して,定量的に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-03-15T23:07:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。