論文の概要: Cross-Modality Neuroimage Synthesis: A Survey
- arxiv url: http://arxiv.org/abs/2202.06997v6
- Date: Mon, 18 Sep 2023 00:58:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:13:01.536297
- Title: Cross-Modality Neuroimage Synthesis: A Survey
- Title(参考訳): クロスモダリティニューロイメージ合成:調査
- Authors: Guoyang Xie, Jinbao Wang, Yawen Huang, Jiayi Lyu, Feng Zheng, Yefeng
Zheng, Yaochu Jin
- Abstract要約: 本稿では、異なる視点から、相互モダリティニューロイメージ合成タスクに包括的にアプローチする。
まず,クロスモダリティ・ニューロイメージ・システンシスのオープニング課題をいくつか紹介する。
さらに,異なる下流タスクの性能向上を図るために,モーダリティ間ニューロイメージ合成の深部分析を行う。
- 参考スコア(独自算出の注目度): 71.27193056354741
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The existence of completely aligned and paired multi-modal neuroimaging data
has proved its effectiveness in diagnosis of brain diseases. However,
collecting the full set of well-aligned and paired data is expensive or even
impractical, since the practical difficulties may include high cost, long time
acquisition, image corruption, and privacy issues. A realistic solution is to
explore either an unsupervised learning or a semi-supervised learning to
synthesize the absent neuroimaging data. In this paper, we are the first one to
comprehensively approach cross-modality neuroimage synthesis task from
different perspectives, which include the level of the supervision (especially
for weakly-supervised and unsupervised), loss function, evaluation metrics, the
range of modality synthesis, datasets (aligned, private and public) and the
synthesis-based downstream tasks. To begin with, we highlight several opening
challenges for cross-modality neuroimage sysnthesis. Then we summarize the
architecture of cross-modality synthesis under various of supervision level. In
addition, we provide in-depth analysis of how cross-modality neuroimage
synthesis can improve the performance of different downstream tasks. Finally,
we re-evaluate the open challenges and point out the future directions for the
remaining challenges. All resources are available at
https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis
- Abstract(参考訳): 完全に整列した対のマルチモーダル神経画像データの存在は、脳疾患の診断に有効であることが証明されている。
しかし、高コスト、長期取得、画像の破損、プライバシー問題といった現実的な困難が伴うため、整列データとペアデータの完全な収集は高価または実用的ではない。
現実的な解決策は、教師なしの学習または半教師なしの学習を探索して、欠落した神経画像データを合成することである。
本稿では,様々な視点から多義性ニューロイメージ合成タスクに包括的にアプローチする最初の試みとして,監督レベル(特に教師の弱さと教師の弱さ),損失関数,評価指標,モダリティ合成の範囲,データセット(整列,プライベート,パブリック),合成に基づく下流タスクについて述べる。
まず,クロスモダリティニューロイメージシンテシスの開眼課題について概説する。
次に,様々な監督レベルでのクロスモダリティ合成のアーキテクチャを要約する。
さらに,神経画像合成が様々な下流タスクのパフォーマンスを改善する方法について,詳細な解析を行う。
最後に、オープンチャレンジを再評価し、残りの課題の今後の方向性を指摘する。
すべてのリソースはhttps://github.com/M-3LAB/awesome-multimodal-brain-image-systhesisで利用可能である。
関連論文リスト
- ORES: Open-vocabulary Responsible Visual Synthesis [104.7572323359984]
我々は、新しいタスクであるオープン語彙対応視覚合成(ORES)を定式化し、そこで合成モデルは、禁止された視覚概念を避けることができる。
この問題に対処するため,我々はTIN(Two-stage Intervention)フレームワークを提案する。
1)大規模言語モデル(LLM)による学習可能な命令による書き直し,2)拡散モデルへの迅速な介入による合成を行うことで,概念を避けながら可能な限りユーザのクエリに従うイメージを効果的に合成することができる。
論文 参考訳(メタデータ) (2023-08-26T06:47:34Z) - Data-Driven Network Neuroscience: On Data Collection and Benchmark [9.274557873434938]
本稿では, 神経科学, 機械学習, グラフ解析の交わりにおける潜在的な研究のための, 機能的ヒト脳ネットワークデータの包括的, 質的な収集について述べる。
脳の解剖学的および機能的なMRI画像は、人間の脳の機能的接続を理解するために使われており、特にアルツハイマー病、パーキンソン病、自閉症などの神経変性疾患の特定に重要である。
データセットは5つの異なるソースから始まり、3つの神経変性条件をカバーし、合計2,642人の被験者からなる。
論文 参考訳(メタデータ) (2022-11-11T02:14:28Z) - Self-supervised multimodal neuroimaging yields predictive
representations for a spectrum of Alzheimer's phenotypes [27.331511924585023]
この研究は、マルチモーダル・ニューロイメージングデータから複数の表現を学習するための、新しいマルチスケール協調フレームワークを提案する。
本稿では,情報誘導バイアスの一般的な分類法を提案する。
自己教師型モデルでは,事前トレーニング中にラベルにアクセスすることなく,障害関連脳領域とマルチモーダルリンクを明らかにする。
論文 参考訳(メタデータ) (2022-09-07T01:37:19Z) - Deep Representations for Time-varying Brain Datasets [4.129225533930966]
本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。
サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。
これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
論文 参考訳(メタデータ) (2022-05-23T21:57:31Z) - Robust Segmentation of Brain MRI in the Wild with Hierarchical CNNs and
no Retraining [1.0499611180329802]
クリニックで取得した脳MRIスキャンの振り返り分析は、研究データセットよりもはるかに大きなサンプルサイズを持つ神経画像研究を可能にする可能性がある。
画像分割のための畳み込みニューラルネットワーク(CNN)と領域ランダム化の最近の進歩は、大規模な臨床MRIの形態計測を可能にする可能性がある。
一般的にSynthSegは頑健であるが,低信号-雑音比,組織コントラストの低いスキャンではフェールすることが多い。
条件付きセグメンテーションとCNNの階層構造を用いてこれらの問題を緩和する新しい手法であるSynthSeg+を提案する。
論文 参考訳(メタデータ) (2022-03-03T19:18:28Z) - FedMed-ATL: Misaligned Unpaired Brain Image Synthesis via Affine
Transform Loss [58.58979566599889]
脳画像合成のための新しい自己教師型学習(FedMed)を提案する。
アフィン変換損失(ATL)は、プライバシー法に違反することなく、ひどく歪んだ画像を使用するように定式化された。
提案手法は, 極めて不整合かつ不整合なデータ設定下での合成結果の品質の両方において, 高度な性能を示す。
論文 参考訳(メタデータ) (2022-01-29T13:45:39Z) - Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。
近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。
ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
論文 参考訳(メタデータ) (2021-12-27T10:00:16Z) - Brain Image Synthesis with Unsupervised Multivariate Canonical
CSC$\ell_4$Net [122.8907826672382]
我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
論文 参考訳(メタデータ) (2021-03-22T05:19:40Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z) - Attend and Decode: 4D fMRI Task State Decoding Using Attention Models [2.6954666679827137]
我々は、Brain Attend and Decode (BAnD)と呼ばれる新しいアーキテクチャを提案する。
BAnDは残留畳み込みニューラルネットワークを用いて空間的特徴抽出と時間的モデリングを行う。
我々は,Human Connectome Project-Young Adult データセットの 7-task ベンチマークによる以前の研究と比較して,大幅な性能向上を実現している。
論文 参考訳(メタデータ) (2020-04-10T21:29:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。