論文の概要: Multi-sensor Learning Enables Information Transfer across Different Sensory Data and Augments Multi-modality Imaging
- arxiv url: http://arxiv.org/abs/2409.19420v1
- Date: Sat, 28 Sep 2024 17:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 23:29:10.249913
- Title: Multi-sensor Learning Enables Information Transfer across Different Sensory Data and Augments Multi-modality Imaging
- Title（参考訳）: 異なる感覚データ間の情報伝達を可能にするマルチセンサ学習とマルチモーダリティイメージング
- Authors: Lingting Zhu, Yizheng Chen, Lianli Liu, Lei Xing, Lequan Yu,
- Abstract要約: データ駆動型マルチモーダルイメージング(DMI)によるCTとMRIのシナジーイメージングについて検討した。
マルチモダリティ・イメージングにおける特徴,すなわちモダリティ・イントラモダリティ・イントラモダリティの2つの特徴を明らかにし,マルチセンサ・ラーニング(MSL)フレームワークを提案する。
相乗的CT-MRI脳画像撮影によるDMI戦略の有効性について紹介する。
- 参考スコア（独自算出の注目度）: 21.769547352111957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modality imaging is widely used in clinical practice and biomedical research to gain a comprehensive understanding of an imaging subject. Currently, multi-modality imaging is accomplished by post hoc fusion of independently reconstructed images under the guidance of mutual information or spatially registered hardware, which limits the accuracy and utility of multi-modality imaging. Here, we investigate a data-driven multi-modality imaging (DMI) strategy for synergetic imaging of CT and MRI. We reveal two distinct types of features in multi-modality imaging, namely intra- and inter-modality features, and present a multi-sensor learning (MSL) framework to utilize the crossover inter-modality features for augmented multi-modality imaging. The MSL imaging approach breaks down the boundaries of traditional imaging modalities and allows for optimal hybridization of CT and MRI, which maximizes the use of sensory data. We showcase the effectiveness of our DMI strategy through synergetic CT-MRI brain imaging. The principle of DMI is quite general and holds enormous potential for various DMI applications across disciplines.
- Abstract（参考訳）: マルチモダリティイメージングは、画像の主題を包括的に理解するために、臨床および生医学的な研究に広く用いられている。
現在、マルチモダリティイメージングは、相互情報や空間的に登録されたハードウェアの誘導の下で、独立に再構成された画像のポストホック融合によって実現されており、マルチモダリティイメージングの精度と有用性は制限されている。
本稿では,CTとMRIの相乗的画像化のためのDMI(Data-driven multi-modality imaging)戦略について検討する。
マルチモダリティ画像における2つの特徴,すなわち、イントラモダリティとイントラモダリティの2つの特徴を明らかにし、マルチセンサラーニング(MSL)フレームワークを用いて、クロスオーバー相互モダリティの機能を拡張マルチモダリティイメージングに活用する。
MSLイメージングアプローチは、従来の画像モダリティの境界を画定し、CTとMRIの最適なハイブリッド化を可能にし、感覚データの使用を最大化する。
相乗的CT-MRI脳画像撮影によるDMI戦略の有効性について紹介する。
DMIの原理は極めて一般的であり、規律を越えて様々なDMIアプリケーションに対して大きな可能性を秘めている。
関連論文リスト
- Towards General Text-guided Image Synthesis for Customized Multimodal Brain MRI Generation [51.28453192441364]
マルチモーダル脳磁気共鳴(MR)イメージングは神経科学や神経学において不可欠である。
現在のMR画像合成アプローチは、通常、特定のタスクのための独立したデータセットで訓練される。
テキスト誘導ユニバーサルMR画像合成モデルであるTUMSynについて述べる。
論文 参考訳（メタデータ） (2024-09-25T11:14:47Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳（メタデータ） (2024-03-27T02:42:52Z) - Modality-Aware and Shift Mixer for Multi-modal Brain Tumor Segmentation [12.094890186803958]
マルチモーダル画像のモダリティ内依存性とモダリティ間依存性を統合した新しいModality Aware and Shift Mixerを提案する。
具体的には,低レベルのモザイク対関係をモデル化するためのニューロイメージング研究に基づいてModality-Awareモジュールを導入し,モザイクパターンを具体化したModality-Shiftモジュールを開発し,高レベルのモザイク間の複雑な関係を自己注意を通して探索する。
論文 参考訳（メタデータ） (2024-03-04T14:21:51Z) - Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's
Disease from sMRI and PET Scans [11.420077093805382]
我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。
本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。
次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
論文 参考訳（メタデータ） (2023-07-31T02:04:05Z) - Modality-Agnostic Learning for Medical Image Segmentation Using
Multi-modality Self-distillation [1.815047691981538]
マルチモーダル・セルフディスト・イレレーション(MAG-MS)によるモダリティ非依存学習という新しい枠組みを提案する。
MAG-MSは複数のモダリティの融合から知識を蒸留し、個々のモダリティに対する表現学習を強化する。
ベンチマークデータセットを用いた実験により,MAG-MSの高効率化とセグメンテーション性能の向上が示された。
論文 参考訳（メタデータ） (2023-06-06T14:48:50Z) - Uncertainty-Aware Multi-Parametric Magnetic Resonance Image Information
Fusion for 3D Object Segmentation [12.361668672097753]
拡張された3次元画像セグメンテーションのための情報を完全に活用するために,不確実性を考慮したマルチパラメトリックMR画像特徴融合法を提案する。
提案手法は,既存モデルと比較してセグメンテーション性能が向上する。
論文 参考訳（メタデータ） (2022-11-16T09:16:52Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Multi-modal Aggregation Network for Fast MR Imaging [85.25000133194762]
我々は,完全サンプル化された補助モダリティから補完表現を発見できる,MANetという新しいマルチモーダル・アグリゲーション・ネットワークを提案する。
我々のMANetでは,完全サンプリングされた補助的およびアンアンサンプされた目標モダリティの表現は,特定のネットワークを介して独立に学習される。
私たちのMANetは、$k$-spaceドメインの周波数信号を同時に回復できるハイブリッドドメイン学習フレームワークに従います。
論文 参考訳（メタデータ） (2021-10-15T13:16:59Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T20:05:35Z) - Multi-modality imaging with structure-promoting regularisers [0.27074235008521236]
癌と認知症の理解と早期診断のための重要なツールはPET-MRであり、ポジトロン放射トモグラフィーと磁気共鳴イメージングスキャナーを組み合わせたものである。
本章では,複数の画像モダリティからの情報を組み合わせる数学的アプローチについて論じる。
論文 参考訳（メタデータ） (2020-07-22T21:26:37Z) - Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis [143.55901940771568]
マルチモーダルMR画像合成のためのHybrid-fusion Network(Hi-Net)を提案する。
当社のHi-Netでは,各モーダリティの表現を学習するために,モーダリティ特化ネットワークを用いている。
マルチモーダル合成ネットワークは、潜在表現と各モーダルの階層的特徴を密結合するように設計されている。
論文 参考訳（メタデータ） (2020-02-11T08:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。