論文の概要: RGB to Hyperspectral: Spectral Reconstruction for Enhanced Surgical Imaging
- arxiv url: http://arxiv.org/abs/2410.13570v1
- Date: Thu, 17 Oct 2024 14:05:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:20:42.492281
- Title: RGB to Hyperspectral: Spectral Reconstruction for Enhanced Surgical Imaging
- Title(参考訳): RGB から Hyperspectral へ : 画像強調のためのスペクトル再構成
- Authors: Tobias Czempiel, Alfie Roddan, Maria Leiloglou, Zepeng Hu, Kevin O'Neill, Giulio Anichini, Danail Stoyanov, Daniel Elson,
- Abstract要約: そこで本研究では,RGBデータから高スペクトル信号の再構成を行い,画像診断の精度向上を図る。
畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに基づく各種アーキテクチャの評価を行った。
変換器モデルはRMSE、SAM、PSNR、SSIMの点で優れた性能を示す。
- 参考スコア(独自算出の注目度): 7.2993064695496255
- License:
- Abstract: This study investigates the reconstruction of hyperspectral signatures from RGB data to enhance surgical imaging, utilizing the publicly available HeiPorSPECTRAL dataset from porcine surgery and an in-house neurosurgery dataset. Various architectures based on convolutional neural networks (CNNs) and transformer models are evaluated using comprehensive metrics. Transformer models exhibit superior performance in terms of RMSE, SAM, PSNR and SSIM by effectively integrating spatial information to predict accurate spectral profiles, encompassing both visible and extended spectral ranges. Qualitative assessments demonstrate the capability to predict spectral profiles critical for informed surgical decision-making during procedures. Challenges associated with capturing both the visible and extended hyperspectral ranges are highlighted using the MAE, emphasizing the complexities involved. The findings open up the new research direction of hyperspectral reconstruction for surgical applications and clinical use cases in real-time surgical environments.
- Abstract(参考訳): 本研究は, ブタ外科手術のHeiPorSPECTRALデータセットと脳神経外科手術のデータセットを用いて, RGBデータからのハイパースペクトルシグネチャの再構成を行い, 画像診断の高度化を図るものである。
畳み込みニューラルネットワーク(CNN)とトランスフォーマーモデルに基づく各種アーキテクチャを包括的メトリクスを用いて評価する。
変換器モデルは、空間情報を効果的に統合して正確なスペクトルプロファイルを予測することにより、RMSE、SAM、PSNR、SSIMの点で優れた性能を示す。
質的評価は、手術中の外科的意思決定において重要なスペクトルプロファイルを予測する能力を示す。
可視域と拡張域の両方を撮影する際の課題は、MAEを用いて強調され、関連する複雑さを強調している。
本研究は, リアルタイム手術環境における手術応用と臨床応用のためのハイパースペクトル再構築の新たな研究方向性を明らかにするものである。
関連論文リスト
- Multiscale Latent Diffusion Model for Enhanced Feature Extraction from Medical Images [5.395912799904941]
CTスキャナーモデルと取得プロトコルのバリエーションは、抽出した放射能特性に有意な変動をもたらす。
LTDiff++は医療画像の特徴抽出を強化するために設計されたマルチスケール潜在拡散モデルである。
論文 参考訳(メタデータ) (2024-10-05T02:13:57Z) - A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging [3.426432165500852]
ハイパースペクトルイメージングは、肉眼では見えない詳細な情報を持つ生体組織分化機能を提供することによって、外科的イメージングにおいて有望である。
術中誘導のためには、リアルタイムのスペクトルデータキャプチャと表示が義務付けられている。この要件から、現在、スナップショットモザイクハイパースペクトルカメラが最も適した技術であると見なされている。
本稿では,2組の高分解能データに依存しない自己教師型復号法とRGB再構成法を提案する。
論文 参考訳(メタデータ) (2024-07-27T15:29:35Z) - Neuro-TransUNet: Segmentation of stroke lesion in MRI using transformers [0.6554326244334866]
本研究では,U-Netの空間的特徴抽出をSwinUNETRのグローバルな文脈処理能力と併用するNeuro-TransUNetフレームワークを提案する。
提案したNeuro-TransUNetモデルは、ATLAS v2.0のアントレーニングデータセットでトレーニングされ、既存のディープラーニングアルゴリズムを上回っ、脳卒中病変セグメンテーションの新しいベンチマークを確立する。
論文 参考訳(メタデータ) (2024-06-10T04:36:21Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳(メタデータ) (2024-03-21T15:13:36Z) - Phase-Specific Augmented Reality Guidance for Microscopic Cataract
Surgery Using Long-Short Spatiotemporal Aggregation Transformer [14.568834378003707]
乳化白内障手術(英: Phaemulsification cataract surgery, PCS)は、外科顕微鏡を用いた外科手術である。
PCS誘導システムは、手術用顕微鏡映像から貴重な情報を抽出し、熟練度を高める。
既存のPCSガイダンスシステムでは、位相特異なガイダンスに悩まされ、冗長な視覚情報に繋がる。
本稿では,認識された手術段階に対応するAR情報を提供する,新しい位相特異的拡張現実(AR)誘導システムを提案する。
論文 参考訳(メタデータ) (2023-09-11T02:56:56Z) - K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality
Assessment [71.27193056354741]
クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。
本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。
K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
論文 参考訳(メタデータ) (2023-07-10T01:26:48Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳(メタデータ) (2023-06-23T03:09:03Z) - Orientation-Shared Convolution Representation for CT Metal Artifact
Learning [63.67718355820655]
X線CT(CT)スキャン中、患者を乗せた金属インプラントは、しばしば有害なアーティファクトに繋がる。
既存のディープラーニングベースの手法は、有望な再構築性能を得た。
本稿では,人工物の物理的事前構造に適応するために,配向型畳み込み表現戦略を提案する。
論文 参考訳(メタデータ) (2022-12-26T13:56:12Z) - OADAT: Experimental and Synthetic Clinical Optoacoustic Data for
Standardized Image Processing [62.993663757843464]
オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。
OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。
臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
論文 参考訳(メタデータ) (2022-06-17T08:11:26Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳(メタデータ) (2022-03-31T13:14:00Z) - Spectral-Spatial Recurrent-Convolutional Networks for In-Vivo
Hyperspectral Tumor Type Classification [49.32653090178743]
ハイパースペクトル画像とディープラーニングを用いたin-vivo腫瘍型分類の可能性を示した。
我々の最良のモデルは76.3%のAUCを達成し、従来の学習手法とディープラーニング手法を著しく上回っている。
論文 参考訳(メタデータ) (2020-07-02T12:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。