論文の概要: Physics-Driven Autoregressive State Space Models for Medical Image Reconstruction
- arxiv url: http://arxiv.org/abs/2412.09331v1
- Date: Thu, 12 Dec 2024 14:59:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-13 13:31:19.831183
- Title: Physics-Driven Autoregressive State Space Models for Medical Image Reconstruction
- Title(参考訳): 物理駆動型医用画像再構成のための自己回帰状態モデル
- Authors: Bilal Kabas, Fuat Arslan, Valiyeh A. Nezhad, Saban Ozturk, Emine U. Saritas, Tolga Çukur,
- Abstract要約: 本稿では, 物理駆動型自己回帰状態空間モデル(MambaRoll)を導入し, 医用画像再構成における忠実度を高める。
MambaRollは物理駆動状態空間モジュール(PSSM)に基づく自己回帰フレームワークを使用しており、PSSMは与えられた空間スケールでコンテキスト特徴を効率的に集約する。
MambaRollは、畳み込み、トランスフォーマーおよび従来のSSMモジュールに基づいて、最先端のPD手法より優れている。
- 参考スコア(独自算出の注目度): 5.208643222679356
- License:
- Abstract: Medical image reconstruction from undersampled acquisitions is an ill-posed problem that involves inversion of the imaging operator linking measurement and image domains. In recent years, physics-driven (PD) models have gained prominence in learning-based reconstruction given their enhanced balance between efficiency and performance. For reconstruction, PD models cascade data-consistency modules that enforce fidelity to acquired data based on the imaging operator, with network modules that process feature maps to alleviate image artifacts due to undersampling. Success in artifact suppression inevitably depends on the ability of the network modules to tease apart artifacts from underlying tissue structures, both of which can manifest contextual relations over broad spatial scales. Convolutional modules that excel at capturing local correlations are relatively insensitive to non-local context. While transformers promise elevated sensitivity to non-local context, practical implementations often suffer from a suboptimal trade-off between local and non-local sensitivity due to intrinsic model complexity. Here, we introduce a novel physics-driven autoregressive state space model (MambaRoll) for enhanced fidelity in medical image reconstruction. In each cascade of an unrolled architecture, MambaRoll employs an autoregressive framework based on physics-driven state space modules (PSSM), where PSSMs efficiently aggregate contextual features at a given spatial scale while maintaining fidelity to acquired data, and autoregressive prediction of next-scale feature maps from earlier spatial scales enhance capture of multi-scale contextual features. Demonstrations on accelerated MRI and sparse-view CT reconstructions indicate that MambaRoll outperforms state-of-the-art PD methods based on convolutional, transformer and conventional SSM modules.
- Abstract(参考訳): アンダーサンプル取得による医用画像再構成は、計測領域と画像領域をリンクする画像演算子の逆転を伴う不適切な問題である。
近年,物理駆動モデル (PD) は, 効率と性能のバランスが向上していることから, 学習に基づく再構築において注目されている。
再構築のためにPDは、画像演算子に基づく取得データへの忠実性を強制するカスケードデータ一貫性モジュールをモデル化し、アンダーサンプリングによる画像アーティファクトの緩和のために特徴マップを処理するネットワークモジュールをモデル化する。
アーティファクト抑制の成功は、ネットワークモジュールが基盤となる組織構造からアーティファクトを分解する能力に必然的に依存する。
局所的相関を捉えるのに優れた畳み込み加群は、非局所的文脈に対して相対的に無関心である。
トランスフォーマーは非局所的文脈に対する感度を高めることを約束するが、実際的な実装は内在的モデル複雑さによる局所的・非局所的感度のトレードオフに悩まされることが多い。
本稿では,物理駆動型自己回帰状態空間モデル(MambaRoll)を提案する。
MambaRollは、物理駆動状態空間モジュール(PSSM)に基づく自己回帰フレームワークを採用し、PSSMは、取得したデータへの忠実さを維持しながら、所定の空間スケールでコンテキスト特徴を効率的に集約し、初期の空間スケールからの次スケール特徴マップの自動回帰予測により、マルチスケールのコンテキスト特徴のキャプチャが向上する。
MambaRoll は畳み込み, トランスフォーマー, 従来の SSM モジュールをベースとした最先端の PD 法より優れていた。
関連論文リスト
- Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳(メタデータ) (2024-08-01T15:14:10Z) - Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。
本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
論文 参考訳(メタデータ) (2024-05-23T09:13:36Z) - IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model [7.842507196763463]
IRSRMambaはマルチスケール適応のためのウェーブレット変換特徴変調を統合する新しいフレームワークである。
IRSRMambaはPSNR、SSIM、知覚品質において最先端の手法より優れている。
この研究は、高忠実度赤外線画像強調のための有望な方向として、Mambaベースのアーキテクチャを確立する。
論文 参考訳(メタデータ) (2024-05-16T07:49:24Z) - Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。
具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。
さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
論文 参考訳(メタデータ) (2024-03-30T08:05:00Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Stable Deep MRI Reconstruction using Generative Priors [13.400444194036101]
本稿では,参照等級画像のみを生成的設定でトレーニングした,新しいディープニューラルネットワークベース正規化器を提案する。
その結果,最先端のディープラーニング手法に匹敵する競争性能が示された。
論文 参考訳(メタデータ) (2022-10-25T08:34:29Z) - Multi-head Cascaded Swin Transformers with Attention to k-space Sampling
Pattern for Accelerated MRI Reconstruction [16.44971774468092]
我々は,McSTRA(Multi-head Cascaded Swin Transformer)と題する,物理学に基づくスタンドアロン(畳み込みフリー)トランスモデルを提案する。
当モデルでは, 画像と定量的に, 最先端のMRI再建法より有意に優れていた。
論文 参考訳(メタデータ) (2022-07-18T07:21:56Z) - HUMUS-Net: Hybrid unrolled multi-scale network architecture for
accelerated MRI reconstruction [38.0542877099235]
HUMUS-Netは、暗黙のバイアスと畳み込みの効率を、無ロールでマルチスケールのネットワークにおけるTransformerブロックのパワーと組み合わせたハイブリッドアーキテクチャである。
我々のネットワークは、最も広く公開されているMRIデータセットである高速MRIデータセット上で、新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2022-03-15T19:26:29Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。