論文の概要: Co-distilled attention guided masked image modeling with noisy teacher for self-supervised learning on medical images

• arxiv url: http://arxiv.org/abs/2604.14506v1
• Date: Thu, 16 Apr 2026 00:43:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.659557
• Title: Co-distilled attention guided masked image modeling with noisy teacher for self-supervised learning on medical images
• Title（参考訳）: 医用画像の自己教師型学習のためのノイズのある教師による共蒸留注意誘導マスク画像モデリング
• Authors: Jue Jiang, Aneesh Rangnekar, Harini Veeraraghavan,
• Abstract要約: Masked Image Modeling (MIM) は、注釈のないデータから有用な特徴表現を抽出する、非常に効果的な自己教師付き学習(SSL)アプローチである。 我々は,Swin の注意誘導型マスキング機構を導入し,意味的共起・識別的パッチを選択的にマスキングする。 本研究はDAGMaNの肺結節分類,免疫療法成績予測,腫瘍の分節化,非管理臓器のクラスタリングなど,複数のタスクにおける能力を示す。
• 参考スコア（独自算出の注目度）: 5.248922934004839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked image modeling (MIM) is a highly effective self-supervised learning (SSL) approach to extract useful feature representations from unannotated data. Predominantly used random masking methods make SSL less effective for medical images due to the contextual similarity of neighboring patches, leading to information leakage and SSL simplification. Hierarchical shifted window (Swin) transformer, a highly effective approach for medical images cannot use advanced masking methods as it lacks a global [CLS] token. Hence, we introduced an attention guided masking mechanism for Swin within a co-distillation learning framework to selectively mask semantically co-occurring and discriminative patches, to reduce information leakage and increase the difficulty of SSL pretraining. However, attention guided masking inevitably reduces the diversity of attention heads, which negatively impacts downstream task performance. To address this, we for the first time, integrate a noisy teacher into the co-distillation framework (termed DAGMaN) that performs attentive masking while preserving high attention head diversity. We demonstrate the capability of DAGMaN on multiple tasks including full- and few-shot lung nodule classification, immunotherapy outcome prediction, tumor segmentation, and unsupervised organs clustering.
• Abstract（参考訳）: Masked Image Modeling (MIM) は、注釈のないデータから有用な特徴表現を抽出する、非常に効果的な自己教師付き学習(SSL)アプローチである。 昔ながらのランダムマスキング手法は、近隣のパッチのコンテキスト的類似性のため、SSLの医療画像に対する効果を低下させ、情報漏洩とSSLの単純化につながる。 医用画像に対する高能率アプローチである階層シフトウィンドウ(Swin)トランスフォーマーは,グローバル(CLS)トークンが欠如しているため,高度なマスキング手法は使用できない。 そこで我々は,Swinの注意誘導型マスキング機構を導入し,意味的共起・識別的パッチを選択的にマスキングし,情報漏洩を低減し,SSL事前学習の難しさを増大させる。 しかし、注意誘導マスキングは、ダウンストリームタスクのパフォーマンスに悪影響を及ぼす注意ヘッドの多様性を必然的に減少させる。 そこで,我々は初めて,注目度の高い頭部の多様性を維持しつつ,注意隠蔽を行う共蒸留フレームワーク(DAGMaN)にうるさい教師を取り入れた。 我々は,DAGMaNの肺結節分類,免疫療法成績予測,腫瘍の分節化,非管理臓器のクラスタリングなど,複数のタスクにおける能力を示す。

関連論文リスト

• MIRAM: Masked Image Reconstruction Across Multiple Scales for Breast Lesion Risk Prediction [2.0199924721373392]
  Masked Image Modeling (MIM) はより強力なSSL技術として登場した。 本稿では,より困難なプリテキストタスクを中心に,スケーラブルで実用的なSSLアプローチを提案する。 我々の仮説は、高解像度画像の再構成により、より微細な空間的詳細に対応することができるというものである。
  論文  参考訳（メタデータ） (2025-03-10T10:32:55Z)
• Enhanced Masked Image Modeling to Avoid Model Collapse on Multi-modal MRI Datasets [6.3467517115551875]
  マスク付き画像モデリング(MIM)は、ラベルなしデータの利用において有望であることを示す。 モデル崩壊を, 完全崩壊と次元崩壊の2つのタイプで解析し, 対処する。 HMPとPBTモジュールを併用した拡張MIM(E-MIM)を構築し,マルチモーダルMRIのモデル崩壊を回避する。
  論文  参考訳（メタデータ） (2024-07-15T01:11:30Z)
• AnatoMask: Enhancing Medical Image Segmentation with Reconstruction-guided Self-masking [5.844539603252746]
  Masked Image Modeling (MIM) は、ランダムにマスキングされた画像を再構成し、詳細な表現を学習することで効果を示した。 解剖学的に重要な領域を動的に識別・隠蔽するために再構成損失を利用した新しいMIM手法であるAnatoMaskを提案する。
  論文  参考訳（メタデータ） (2024-07-09T00:15:52Z)
• Masking Improves Contrastive Self-Supervised Learning for ConvNets, and Saliency Tells You Where [63.61248884015162]
  我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。 マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
  論文  参考訳（メタデータ） (2023-09-22T09:58:38Z)
• AMLP:Adaptive Masking Lesion Patches for Self-supervised Medical Image Segmentation [67.97926983664676]
  自己監督型マスク画像モデリングは自然画像に対して有望な結果を示した。 しかし,このような手法を医用画像に直接適用することは依然として困難である。 適応型マスキング病変パッチ(AMLP)の自己管理型医用画像分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T13:18:10Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Adversarial Masking for Self-Supervised Learning [81.25999058340997]
  自己教師付き学習のためのマスク付き画像モデル(MIM)フレームワークであるADIOSを提案する。 対向目的物を用いてマスキング機能と画像エンコーダを同時に学習する。 さまざまなタスクやデータセットに対する最先端の自己教師付き学習(SSL)メソッドを一貫して改善する。
  論文  参考訳（メタデータ） (2022-01-31T10:23:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。