Fugu-MT 論文翻訳(概要): ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities

論文の概要: ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities

arxiv url: http://arxiv.org/abs/2203.04959v1
Date: Mon, 7 Mar 2022 18:54:59 GMT
ステータス: 処理完了
システム内更新日: 2022-03-12 04:32:58.281686
Title: ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities
Title（参考訳）: ModDrop++: 欠損型多発性硬化症病変に対するオブジェクト内コトレーニング付き動的フィルタネットワーク
Authors: Han Liu, Yubo Fan, Hao Li, Jiacheng Wang, Dewei Hu, Can Cui, Ho Hin Lee, Ipek Oguz
Abstract要約: モダリティ・ドロップアウト(Modality Dropout, ModDrop)と呼ばれるトレーニング戦略がMS病変のセグメンテーションに応用され, モダリティの欠如に対する最先端性を実現している。本稿では,任意の入力MRIシーケンスに対応する統一ネットワークをトレーニングするModDrop++を提案する。
参考スコア（独自算出の注目度）: 15.792280387896994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS lesion segmentation models have been developed and have reached human-level performance. However, most established methods assume the MRI modalities used during training are also available during testing, which is not guaranteed in clinical practice. A training strategy termed Modality Dropout (ModDrop) has been applied to MS lesion segmentation to achieve the state-of-the-art performance for missing modality. We present a novel method dubbed ModDrop++ to train a unified network adaptive to an arbitrary number of input MRI sequences. Moreover, ModDrop++ can be easily applied to any existing model architectures. Specifically, ModDrop++ upgrades the main idea of ModDrop in two key ways. First, we devise a plug-and-play dynamic head and adopt a filter scaling strategy to improve the expressiveness of the network. Second, we design a co-training strategy to leverage the intra-subject relation between full modality and missing modality. In particular, the intra-subject co-training strategy aims to guide the dynamic head to generate similar feature representations between the full- and missing-modality data from the same subject. We use two public MS datasets to show the superiority of ModDrop++. Source code and trained models are available at https://github.com/han-liu/ModDropPlusPlus.
Abstract（参考訳）: 多発性硬化症(Multiple Sclerosis, MS)は慢性神経炎症性疾患であり, 多発性関節症はMS病変の監視に日常的に用いられている。多くの自動MS病変分割モデルが開発され、人間レベルの性能に達した。しかし、ほとんどの確立された方法は、訓練中に使用するMRIモダリティも検査中に利用できると仮定している。モダリティ・ドロップアウト(Modality Dropout, ModDrop)と呼ばれるトレーニング戦略がMS病変のセグメンテーションに適用され, モダリティの欠如に対する最先端性を実現している。本稿では,任意の入力MRIシーケンスに対応する統一ネットワークをトレーニングするModDrop++を提案する。さらにModDrop++は既存のモデルアーキテクチャにも簡単に適用できる。具体的には、ModDrop++はModDropの主なアイデアを2つの重要な方法でアップグレードする。まず、プラグアンドプレイのダイナミックヘッドを考案し、ネットワークの表現性を改善するためにフィルタスケーリング戦略を採用する。第2に,完全モダリティと欠如モダリティの間のサブジェクト内関係を活用するためのコトレーニング戦略を設計する。特に、サブジェクト内コトレーニング戦略は、ダイナミックヘッドが同じ主題から全モダリティデータと欠落モダリティデータの間の類似した特徴表現を生成するように誘導することを目的としている。 ModDrop++の優位性を示すために、2つの公開MSデータセットを使用します。ソースコードとトレーニングされたモデルはhttps://github.com/han-liu/moddropplusplusで入手できる。

関連論文リスト

HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
論文参考訳（メタデータ） (2024-07-30T12:13:18Z)
Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文参考訳（メタデータ） (2024-04-23T16:01:33Z)
Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
論文参考訳（メタデータ） (2024-02-26T05:50:43Z)
Multimodal Federated Learning with Missing Modality via Prototype Mask and Contrast [23.936677199734213]
本稿では,FedAvgベースのFederated Learningフレームワークにプロトタイプライブラリを導入する。提案手法は,タスク校正されたトレーニング損失とモデルに依存しない一様性推論戦略を定式化するために,欠落したモダリティを表すマスクとしてプロトタイプを利用する。ベースラインと比較して,トレーニング中に50%のモダリティが欠落し,一様性推論時に23.8%の精度で推論精度が3.7%向上した。
論文参考訳（メタデータ） (2023-12-21T00:55:12Z)
DGInStyle: Domain-Generalizable Semantic Segmentation with Image Diffusion Models and Stylized Semantic Control [68.14798033899955]
大規模で事前訓練された潜伏拡散モデル(LDM)は、創造的コンテンツを生成できる異常な能力を示した。しかし、それらは例えば、セマンティックセグメンテーションのような知覚スタックのタスクを改善するために、大規模なデータジェネレータとして使用できますか? 自律運転の文脈でこの疑問を考察し、「はい」という言い換えで答える。
論文参考訳（メタデータ） (2023-12-05T18:34:12Z)
Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文参考訳（メタデータ） (2023-11-17T18:57:40Z)
Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文参考訳（メタデータ） (2023-10-08T15:01:54Z)
Towards Good Practices for Missing Modality Robust Action Recognition [20.26021126604409]
本稿では,マルチモーダル動作認識のための一連のベストプラクティスを提案する。トレーニング中にモデルを効果的に正規化する方法を研究する。第二に、欠落したモダリティに対するロバスト性のための融合法について検討する。第3に、モダリティ予測符号の欠如を学習する単純なモジュラーネットワークであるActionMAEを提案する。
論文参考訳（メタデータ） (2022-11-25T06:10:57Z)
Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data [8.536869574065195]
Multi-Modal Mixing Transformer (3MAT)は、マルチモーダルデータを利用するだけでなく、欠落したデータシナリオも扱う病気分類変換器である。本稿では、欠落したデータシナリオを扱うために、前例のないモダリティ独立性とロバスト性を確保するための新しいモダリティドロップアウト機構を提案する。
論文参考訳（メタデータ） (2022-10-01T11:31:02Z)
Routing with Self-Attention for Multimodal Capsule Networks [108.85007719132618]
我々は,カプセルの強度をマルチモーダル学習フレームワークの文脈で活用できる,新しいマルチモーダルカプセルネットワークを提案する。カプセルを大規模入力データに適応させるために, カプセルを選択する自己保持機構による新たなルーティングを提案する。これにより、ノイズの多いビデオデータによる堅牢なトレーニングだけでなく、従来のルーティング方法と比較してカプセルネットワークのサイズを拡大することが可能になる。
論文参考訳（メタデータ） (2021-12-01T19:01:26Z)
Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
論文参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。