論文の概要: ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for
Multiple Sclerosis Lesion Segmentation with Missing Modalities
- arxiv url: http://arxiv.org/abs/2203.04959v1
- Date: Mon, 7 Mar 2022 18:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-12 04:32:58.281686
- Title: ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for
Multiple Sclerosis Lesion Segmentation with Missing Modalities
- Title(参考訳): ModDrop++: 欠損型多発性硬化症病変に対するオブジェクト内コトレーニング付き動的フィルタネットワーク
- Authors: Han Liu, Yubo Fan, Hao Li, Jiacheng Wang, Dewei Hu, Can Cui, Ho Hin
Lee, Ipek Oguz
- Abstract要約: モダリティ・ドロップアウト(Modality Dropout, ModDrop)と呼ばれるトレーニング戦略がMS病変のセグメンテーションに応用され, モダリティの欠如に対する最先端性を実現している。
本稿では,任意の入力MRIシーケンスに対応する統一ネットワークをトレーニングするModDrop++を提案する。
- 参考スコア(独自算出の注目度): 15.792280387896994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and
multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS
lesion segmentation models have been developed and have reached human-level
performance. However, most established methods assume the MRI modalities used
during training are also available during testing, which is not guaranteed in
clinical practice. A training strategy termed Modality Dropout (ModDrop) has
been applied to MS lesion segmentation to achieve the state-of-the-art
performance for missing modality. We present a novel method dubbed ModDrop++ to
train a unified network adaptive to an arbitrary number of input MRI sequences.
Moreover, ModDrop++ can be easily applied to any existing model architectures.
Specifically, ModDrop++ upgrades the main idea of ModDrop in two key ways.
First, we devise a plug-and-play dynamic head and adopt a filter scaling
strategy to improve the expressiveness of the network. Second, we design a
co-training strategy to leverage the intra-subject relation between full
modality and missing modality. In particular, the intra-subject co-training
strategy aims to guide the dynamic head to generate similar feature
representations between the full- and missing-modality data from the same
subject. We use two public MS datasets to show the superiority of ModDrop++.
Source code and trained models are available at
https://github.com/han-liu/ModDropPlusPlus.
- Abstract(参考訳): 多発性硬化症(Multiple Sclerosis, MS)は慢性神経炎症性疾患であり, 多発性関節症はMS病変の監視に日常的に用いられている。
多くの自動MS病変分割モデルが開発され、人間レベルの性能に達した。
しかし、ほとんどの確立された方法は、訓練中に使用するMRIモダリティも検査中に利用できると仮定している。
モダリティ・ドロップアウト(Modality Dropout, ModDrop)と呼ばれるトレーニング戦略がMS病変のセグメンテーションに適用され, モダリティの欠如に対する最先端性を実現している。
本稿では,任意の入力MRIシーケンスに対応する統一ネットワークをトレーニングするModDrop++を提案する。
さらにModDrop++は既存のモデルアーキテクチャにも簡単に適用できる。
具体的には、ModDrop++はModDropの主なアイデアを2つの重要な方法でアップグレードする。
まず、プラグアンドプレイのダイナミックヘッドを考案し、ネットワークの表現性を改善するためにフィルタスケーリング戦略を採用する。
第2に,完全モダリティと欠如モダリティの間のサブジェクト内関係を活用するためのコトレーニング戦略を設計する。
特に、サブジェクト内コトレーニング戦略は、ダイナミックヘッドが同じ主題から全モダリティデータと欠落モダリティデータの間の類似した特徴表現を生成するように誘導することを目的としている。
ModDrop++の優位性を示すために、2つの公開MSデータセットを使用します。
ソースコードとトレーニングされたモデルはhttps://github.com/han-liu/moddropplusplusで入手できる。
関連論文リスト
- Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。
本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。
さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
論文 参考訳(メタデータ) (2024-02-26T05:50:43Z) - Multimodal Federated Learning with Missing Modality via Prototype Mask
and Contrast [23.936677199734213]
本稿では,FedAvgベースのFederated Learningフレームワークにプロトタイプライブラリを導入する。
提案手法は,タスク校正されたトレーニング損失とモデルに依存しない一様性推論戦略を定式化するために,欠落したモダリティを表すマスクとしてプロトタイプを利用する。
ベースラインと比較して,トレーニング中に50%のモダリティが欠落し,一様性推論時に23.8%の精度で推論精度が3.7%向上した。
論文 参考訳(メタデータ) (2023-12-21T00:55:12Z) - DGInStyle: Domain-Generalizable Semantic Segmentation with Image
Diffusion Models and Stylized Semantic Control [71.5653099236357]
DGInStyleと呼ばれる効率的なデータ生成パイプラインを提案する。
街路シーンの多様なデータセットを生成し、ドメインに依存しないセマンティックセマンティックセマンティクスモデルをトレーニングし、人気のある自動運転データセット上でモデルを評価する。
論文 参考訳(メタデータ) (2023-12-05T18:34:12Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳(メタデータ) (2023-10-08T15:01:54Z) - MAP: Domain Generalization via Meta-Learning on Anatomy-Consistent
Pseudo-Modalities [12.194439938007672]
解剖学的に整合した擬似モダリティ(MAP)のメタラーニングを提案する。
MAPは構造的特徴を学習することでモデル一般化性を向上させる。
各種網膜画像モダリティの公開データセットを7つ評価した。
論文 参考訳(メタデータ) (2023-09-03T22:56:22Z) - MMG-Ego4D: Multi-Modal Generalization in Egocentric Action Recognition [73.80088682784587]
MMG(Multimodal Generalization)は,特定のモダリティのデータに制限がある場合,あるいは完全に欠落する場合に,システムがどのように一般化できるかを研究することを目的としている。
MMGは2つの新しいシナリオで構成され、現実のアプリケーションにおけるセキュリティと効率の考慮をサポートするように設計されている。
新しい融合モジュールは、モダリティのドロップアウトトレーニング、コントラストベースのアライメントトレーニング、そして新しいクロスモーダル損失により、より優れた数ショット性能を実現した。
論文 参考訳(メタデータ) (2023-05-12T03:05:40Z) - Towards Good Practices for Missing Modality Robust Action Recognition [20.26021126604409]
本稿では,マルチモーダル動作認識のための一連のベストプラクティスを提案する。
トレーニング中にモデルを効果的に正規化する方法を研究する。
第二に、欠落したモダリティに対するロバスト性のための融合法について検討する。
第3に、モダリティ予測符号の欠如を学習する単純なモジュラーネットワークであるActionMAEを提案する。
論文 参考訳(メタデータ) (2022-11-25T06:10:57Z) - Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease
Classification with Incomplete Data [8.536869574065195]
Multi-Modal Mixing Transformer (3MAT)は、マルチモーダルデータを利用するだけでなく、欠落したデータシナリオも扱う病気分類変換器である。
本稿では、欠落したデータシナリオを扱うために、前例のないモダリティ独立性とロバスト性を確保するための新しいモダリティドロップアウト機構を提案する。
論文 参考訳(メタデータ) (2022-10-01T11:31:02Z) - Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。
カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。
これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
論文 参考訳(メタデータ) (2021-12-01T19:01:26Z) - R-Drop: Regularized Dropout for Neural Networks [99.42791938544012]
ドロップアウト(Dropout)は、ディープニューラルネットワークのトレーニングを規則化する、強力で広く使用されているテクニックである。
モデルトレーニングにおけるドロップアウト時の単純な正規化戦略、すなわちR-Dropを導入し、異なるサブモデルの出力分布を互いに整合させる。
論文 参考訳(メタデータ) (2021-06-28T08:01:26Z) - Modality Compensation Network: Cross-Modal Adaptation for Action
Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。
我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-01-31T04:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。