論文の概要: WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging

• arxiv url: http://arxiv.org/abs/2510.14668v1
• Date: Thu, 16 Oct 2025 13:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.871965
• Title: WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging
• Title（参考訳）: WeCKD : 効率的なマルチモーダル医用画像診断のための弱教師付き連鎖蒸留網
• Authors: Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Sami Azam, Asif Karim, Jemima Beissbarth, Amanda Leach,
• Abstract要約: 本稿では,相互接続モデルの構造化シーケンスを通して知識伝達を再定義する,Wakly-supervised Chain-based KD Network(WCKD)を提案する。 蒸留連鎖の各モデルはデータセットのごく一部で訓練され、最小限の監督で効果的な学習が達成できることを示す。 我々の評価の結果、同じ限られたデータでトレーニングされた単一のバックボーンに対して、最大で23%の累積精度が向上した。
• 参考スコア（独自算出の注目度）: 1.9316515057518757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has traditionally relied on a static teacher-student framework, where a large, well-trained teacher transfers knowledge to a single student model. However, these approaches often suffer from knowledge degradation, inefficient supervision, and reliance on either a very strong teacher model or large labeled datasets, which limits their effectiveness in real-world, limited-data scenarios. To address these, we present the first-ever Weakly-supervised Chain-based KD network (WeCKD) that redefines knowledge transfer through a structured sequence of interconnected models. Unlike conventional KD, it forms a progressive distillation chain, where each model not only learns from its predecessor but also refines the knowledge before passing it forward. This structured knowledge transfer further enhances feature learning, reduces data dependency, and mitigates the limitations of one-step KD. Each model in the distillation chain is trained on only a fraction of the dataset and demonstrates that effective learning can be achieved with minimal supervision. Extensive evaluations across four otoscopic imaging datasets demonstrate that it not only matches but in many cases surpasses the performance of existing supervised methods. Experimental results on two other datasets further underscore its generalization across diverse medical imaging modalities, including microscopic and magnetic resonance imaging. Furthermore, our evaluations resulted in cumulative accuracy gains of up to +23% over a single backbone trained on the same limited data, which highlights its potential for real-world adoption.
• Abstract（参考訳）: 知識蒸留(KD)は、伝統的に静的な教師学生の枠組みに依存しており、そこでは大きな訓練を受けた教師が1人の学生モデルに知識を伝達する。 しかしながら、これらのアプローチは知識の劣化、非効率な監督、非常に強力な教師モデルまたは大きなラベル付きデータセットへの依存に悩まされ、現実の限られたデータシナリオにおけるその有効性を制限する。 これらの問題に対処するために、我々は、相互接続されたモデルの構造的シーケンスを通して知識伝達を再定義する、Wakly-supervised Chain-based KD network (WeCKD)を提案する。 従来のKDとは異なり、進歩的蒸留連鎖を形成し、各モデルは前者から学習するだけでなく、前へ進む前に知識を洗練させる。 この構造化された知識伝達は、機能学習をさらに強化し、データ依存を減らし、一段階のKDの限界を緩和する。 蒸留連鎖の各モデルはデータセットのごく一部で訓練され、最小限の監督で効果的な学習が達成できることを示す。 4つの分光画像データセットの広範囲な評価は、それが一致しただけでなく、多くの場合、既存の教師付き手法の性能を上回っていることを示している。 他の2つのデータセットの実験結果は、顕微鏡や磁気共鳴イメージングを含む様々な医学的画像モダリティの一般化をさらに強調している。 さらに,本評価の結果,同じ限られたデータでトレーニングされた単一のバックボーンに対して,最大で23%の累積精度が得られた。

関連論文リスト

• Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
  知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。 本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。 我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-11-27T18:50:15Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
  本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。 データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
  論文  参考訳（メタデータ） (2024-06-05T12:06:04Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。