論文の概要: Generalizing Supervised Deep Learning MRI Reconstruction to Multiple and Unseen Contrasts using Meta-Learning Hypernetworks

• arxiv url: http://arxiv.org/abs/2307.06771v1
• Date: Thu, 13 Jul 2023 14:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 14:29:45.278010
• Title: Generalizing Supervised Deep Learning MRI Reconstruction to Multiple and Unseen Contrasts using Meta-Learning Hypernetworks
• Title（参考訳）: メタラーニングハイパーネットワークを用いた教師付きディープラーニングmri再構成のマルチ・アンセエンコントラストへの一般化
• Authors: Sriprabha Ramanarayanan, Arun Palla, Keerthi Ram, Mohanasankar Sivaprakasam
• Abstract要約: 本研究の目的は、画像再構成のためのマルチモーダルなメタラーニングモデルを開発することである。 提案モデルは,モード固有の重みを生成するために進化するハイパーネットである。 MRI再建実験の結果, 関節リコンストラクションの精度は, 関節リコンストラクションよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.376408511310322
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Meta-learning has recently been an emerging data-efficient learning technique for various medical imaging operations and has helped advance contemporary deep learning models. Furthermore, meta-learning enhances the knowledge generalization of the imaging tasks by learning both shared and discriminative weights for various configurations of imaging tasks. However, existing meta-learning models attempt to learn a single set of weight initializations of a neural network that might be restrictive for multimodal data. This work aims to develop a multimodal meta-learning model for image reconstruction, which augments meta-learning with evolutionary capabilities to encompass diverse acquisition settings of multimodal data. Our proposed model called KM-MAML (Kernel Modulation-based Multimodal Meta-Learning), has hypernetworks that evolve to generate mode-specific weights. These weights provide the mode-specific inductive bias for multiple modes by re-calibrating each kernel of the base network for image reconstruction via a low-rank kernel modulation operation. We incorporate gradient-based meta-learning (GBML) in the contextual space to update the weights of the hypernetworks for different modes. The hypernetworks and the reconstruction network in the GBML setting provide discriminative mode-specific features and low-level image features, respectively. Experiments on multi-contrast MRI reconstruction show that our model, (i) exhibits superior reconstruction performance over joint training, other meta-learning methods, and context-specific MRI reconstruction methods, and (ii) better adaptation capabilities with improvement margins of 0.5 dB in PSNR and 0.01 in SSIM. Besides, a representation analysis with U-Net shows that kernel modulation infuses 80% of mode-specific representation changes in the high-resolution layers. Our source code is available at https://github.com/sriprabhar/KM-MAML/.
• Abstract（参考訳）: メタラーニングは最近、様々な医療画像操作のための新しいデータ効率のよい学習技術となり、現代のディープラーニングモデルの発展に役立っている。 さらに、メタラーニングは、画像タスクの様々な構成に対する共有重みと識別重みの両方を学習することにより、画像タスクの知識一般化を促進する。 しかし、既存のメタ学習モデルは、マルチモーダルデータに制限のあるニューラルネットワークの1組の重み初期化を学習しようとする。 本研究は,画像再構成のためのマルチモーダルメタラーニングモデルの開発を目標とし,マルチモーダルデータの多様な獲得設定を包含する進化的能力を備えたメタラーニングを増強する。 提案モデルであるkm-maml(kernel modulation-based multimodal meta-learning)は,モード特異的重みを生成するために進化するハイパーネットワークを持つ。 これらの重み付けは、低ランクカーネル変調演算を介して画像再構成のためのベースネットワークの各カーネルを再調整することにより、複数のモードに対してモード固有の帰納バイアスを与える。 我々は、ハイパーネットワークの重みを異なるモードで更新するために、グラデーションベースのメタラーニング(GBML)をコンテキスト空間に組み込んだ。 gbml設定のハイパーネットワークとレコンストラクションネットワークは、それぞれ識別モード特有の特徴と低レベル画像特徴を提供する。 マルチコントラストMRI再構成実験により,我々のモデルが得られた。 (i)関節訓練、他のメタラーニング法、文脈特異的MRI再建法よりも優れた再建成績を示し、 (II)PSNRでは0.5dB,SSIMでは0.01の良好な適応能力を有する。 さらに、U-Netによる表現解析により、カーネル変調は高解像度層におけるモード特異的表現の80%を注入することを示した。 ソースコードはhttps://github.com/sriprabhar/KM-MAML/で公開しています。

関連論文リスト

• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• Enhancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework [16.864720020158906]
  拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。 我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。 マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
  論文  参考訳（メタデータ） (2023-12-13T18:22:38Z)
• Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction [23.779641808300596]
  最適化アルゴリズムの指導の下で,マルチコントラスト畳み込み辞書(MC-CDic)モデルを提案する。 近似勾配アルゴリズムを用いてモデルを最適化し、反復的なステップを深部CDicモデルに展開する。 実験により,既存のSOTA法に対して提案したMC-CDicモデルの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2023-09-03T13:18:59Z)
• Convolutional neural network based on sparse graph attention mechanism for MRI super-resolution [0.34410212782758043]
  深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。 既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。 画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T06:14:22Z)
• M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation [73.10707675345253]
  医用画像から多様なセグメンテーションを仕上げるマルチスケールサブトラクションネットワーク(M$2$SNet)を提案する。 本手法は,4つの異なる医用画像セグメンテーションタスクの11つのデータセットに対して,異なる評価基準の下で,ほとんどの最先端手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2023-03-20T06:26:49Z)
• Deep Image Clustering with Contrastive Learning and Multi-scale Graph Convolutional Networks [58.868899595936476]
  コントラスト学習とマルチスケールグラフ畳み込みネットワーク(IcicleGCN)を用いた画像クラスタリング手法を提案する。 複数の画像データセットの実験は、最先端のIcicleGCNよりも優れたクラスタリング性能を示している。
  論文  参考訳（メタデータ） (2022-07-14T19:16:56Z)
• Transformer-empowered Multi-scale Contextual Matching and Aggregation for Multi-contrast MRI Super-resolution [55.52779466954026]
  マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。 既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。 そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-26T01:42:59Z)
• Image-specific Convolutional Kernel Modulation for Single Image Super-resolution [85.09413241502209]
  本稿では,新しい画像特異的畳み込み変調カーネル(IKM)を提案する。 我々は、画像や特徴のグローバルな文脈情報を利用して、畳み込みカーネルを適応的に調整するための注意重みを生成する。 単一画像超解像実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-11-16T11:05:10Z)
• Online Meta Adaptation for Variable-Rate Learned Image Compression [40.8361915315201]
  この研究は、ディープニューラルネットワークに基づくエンドツーエンドの学習画像圧縮(lic)の2つの大きな問題に対処する。 我々は,条件付き変分自動エンコーダフレームワークにおけるメタラーニングとオンラインラーニングのアイデアを組み合わせた,licのオンラインメタラーニング(OML)設定を導入する。
  論文  参考訳（メタデータ） (2021-11-16T06:46:23Z)
• Multimodal-Boost: Multimodal Medical Image Super-Resolution using Multi-Attention Network with Wavelet Transform [5.416279158834623]
  対応する画像分解能の喪失は、医用画像診断の全体的な性能を低下させる。 ディープラーニングベースのシングルイメージスーパーレゾリューション(SISR)アルゴリズムは、全体的な診断フレームワークに革命をもたらした。 本研究は,低周波データから高頻度情報を学習する深層マルチアテンションモジュールを用いたGAN(Generative Adversarial Network)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:13:46Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。