Fugu-MT 論文翻訳(概要): Unified Multimodal Model for Brain MRI Imputation and Understanding

論文の概要: Unified Multimodal Model for Brain MRI Imputation and Understanding

arxiv url: http://arxiv.org/abs/2606.16484v1
Date: Mon, 15 Jun 2026 09:51:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:34.356223
Title: Unified Multimodal Model for Brain MRI Imputation and Understanding
Title（参考訳）: 脳MRIのインプットと理解のための統一型マルチモーダルモデル
Authors: Zhiyun Song, Che Liu, Tian Xia, Avinash Kori, Wenjia Bai,
Abstract要約: 脳磁気共鳴画像(MRI)解析のための新しい統合型マルチモーダルモデルUniBrainを提案する。トレーニング中に、自己回帰的な方法でモデルをトレーニングするために、インターリーブされた、説明に富んだデータフローを構築する。濃密な画像埋め込みを活用して、詳細な画像キャプションを必要とせず、微細な解剖学的特徴を学習する自己アライメント戦略を導入する。
参考スコア（独自算出の注目度）: 19.00815560145768
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal large language models (MLLMs) hold great potential for medicine, as they inherit knowledge from LLM and allow multiple data modalities to be integrated, analysed and interpreted in natural language. However, the field of medical MLLMs is constrained by non-trivial challenges, notably the scarcity of high-quality training data and the frequent occurrence of missing data in the real-world clinical setting. Here, we propose a novel unified multimodal model, UniBrain, for brain magnetic resonance image (MRI) analysis. To address potential missing brain MRI modalities, we employ a unified training strategy to perform joint imaging modality imputation and brain image understanding. During training, an interleaved and description-enriched data flow is constructed to train the model in an autoregressive manner, enabling medical reasoning with generated multimodal data. A self-alignment strategy is introduced to leverage dense image embeddings to learn fine-grained anatomical features without requiring detailed image captions. Furthermore, we propose a dynamic hidden state mechanism to alleviate the exposure bias during long-context multimodal inference. Extensive experiments on multi-disease brain MRI dataset demonstrate that UniBrain achieves high performance for brain image imputation, understanding, and disease diagnosis under various extents of modality incompleteness.
Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、LSMから知識を継承し、複数のデータモダリティを自然言語で統合し、分析し、解釈できるようにするため、医学において大きな可能性を秘めている。しかし、医療MLLMの分野は、特に高品質なトレーニングデータの不足や、実際の臨床環境で欠落するデータの頻繁な発生など、非自明な課題に制約されている。本稿では,脳磁気共鳴画像(MRI)解析のための新しい統合型マルチモーダルモデルUniBrainを提案する。脳MRIの潜在的な欠如に対処するため,我々は統合的トレーニング戦略を用いて,関節画像モダリティの計算と脳画像の理解を行う。トレーニング中、インターリーブと記述に富んだデータフローを構築し、自己回帰的にモデルを訓練し、生成されたマルチモーダルデータによる医学的推論を可能にする。濃密な画像埋め込みを活用して、詳細な画像キャプションを必要とせず、微細な解剖学的特徴を学習する自己アライメント戦略を導入する。さらに,長時間のマルチモーダル推論における露出バイアスを軽減するために,動的隠れ状態機構を提案する。多相脳MRIデータセットの広範囲な実験により、UniBrainは、様々な不完全性の下で、脳画像のインプット、理解、および疾患の診断のために高いパフォーマンスを達成することが示された。

関連論文リスト

Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training [4.672822120456554]
マルチモーダル脳MRIのほとんどのセグメンテーションモデルは固定モードに制限されている。いくつかのモデルは、目に見えないモダリティに一般化するが、モダリティ固有の情報を失う可能性がある。本研究の目的は、トレーニング中に見えない画像のモダリティを含むデータに対して推論を行うモデルを開発することである。
論文参考訳（メタデータ） (2025-09-11T09:25:30Z)
LLM4Brain: Training a Large Language Model for Brain Video Understanding [9.294352205183726]
映像刺激によって引き起こされるfMRI信号から視覚的意味情報を再構成するためのLCMに基づく手法を提案する。我々は、適応器を備えたfMRIエンコーダに微調整技術を用いて、脳の反応を映像刺激に合わせた潜在表現に変換する。特に,視覚的セマンティック情報と脳反応のアライメントを高めるために,自己教師付きドメイン適応手法を統合する。
論文参考訳（メタデータ） (2024-09-26T15:57:08Z)
MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文参考訳（メタデータ） (2024-05-28T00:36:25Z)
fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文参考訳（メタデータ） (2023-11-01T07:24:22Z)
UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文参考訳（メタデータ） (2023-09-13T09:22:49Z)
Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's Disease from sMRI and PET Scans [11.420077093805382]
我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
論文参考訳（メタデータ） (2023-07-31T02:04:05Z)
DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans [16.93394669748461]
多モードMRI(Multi-modal magnetic resonance imaging)に基づく脳腫瘍の分節化は、脳腫瘍の診断、治療、術後の評価を支援する重要な役割を担っている。既存の自動セグメンテーション法によって達成されたインスピレーション性能にもかかわらず、マルチモーダルMRIデータは実際の臨床応用では利用できない。そこで本研究では,異なる条件下で正確な脳腫瘍セグメント化を実現するDIGEST(Deeply SupervIsed KnowledGE tranSfer neTwork)を提案する。
論文参考訳（メタデータ） (2022-11-15T09:01:14Z)
Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文参考訳（メタデータ） (2022-08-17T12:36:26Z)
A Learnable Variational Model for Joint Multimodal MRI Reconstruction and Synthesis [4.056490719080639]
マルチモーダルMRIの関節再構成と合成のための新しいディープラーニングモデルを提案する。本モデルの出力は、ソースのモダリティの再構成画像と、ターゲットのモダリティで合成された高品質な画像を含む。
論文参考訳（メタデータ） (2022-04-08T01:35:19Z)
Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。 on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文参考訳（メタデータ） (2022-01-07T07:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。