論文の概要: WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging

• arxiv url: http://arxiv.org/abs/2510.14668v1
• Date: Thu, 16 Oct 2025 13:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.871965
• Title: WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging
• Title（参考訳）: WeCKD : 効率的なマルチモーダル医用画像診断のための弱教師付き連鎖蒸留網
• Authors: Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Sami Azam, Asif Karim, Jemima Beissbarth, Amanda Leach,
• Abstract要約: 本稿では,相互接続モデルの構造化シーケンスを通して知識伝達を再定義する,Wakly-supervised Chain-based KD Network(WCKD)を提案する。 蒸留連鎖の各モデルはデータセットのごく一部で訓練され、最小限の監督で効果的な学習が達成できることを示す。 我々の評価の結果、同じ限られたデータでトレーニングされた単一のバックボーンに対して、最大で23%の累積精度が向上した。
• 参考スコア（独自算出の注目度）: 1.9316515057518757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) has traditionally relied on a static teacher-student framework, where a large, well-trained teacher transfers knowledge to a single student model. However, these approaches often suffer from knowledge degradation, inefficient supervision, and reliance on either a very strong teacher model or large labeled datasets, which limits their effectiveness in real-world, limited-data scenarios. To address these, we present the first-ever Weakly-supervised Chain-based KD network (WeCKD) that redefines knowledge transfer through a structured sequence of interconnected models. Unlike conventional KD, it forms a progressive distillation chain, where each model not only learns from its predecessor but also refines the knowledge before passing it forward. This structured knowledge transfer further enhances feature learning, reduces data dependency, and mitigates the limitations of one-step KD. Each model in the distillation chain is trained on only a fraction of the dataset and demonstrates that effective learning can be achieved with minimal supervision. Extensive evaluations across four otoscopic imaging datasets demonstrate that it not only matches but in many cases surpasses the performance of existing supervised methods. Experimental results on two other datasets further underscore its generalization across diverse medical imaging modalities, including microscopic and magnetic resonance imaging. Furthermore, our evaluations resulted in cumulative accuracy gains of up to +23% over a single backbone trained on the same limited data, which highlights its potential for real-world adoption.
• Abstract（参考訳）: 知識蒸留(KD)は、伝統的に静的な教師学生の枠組みに依存しており、そこでは大きな訓練を受けた教師が1人の学生モデルに知識を伝達する。 しかしながら、これらのアプローチは知識の劣化、非効率な監督、非常に強力な教師モデルまたは大きなラベル付きデータセットへの依存に悩まされ、現実の限られたデータシナリオにおけるその有効性を制限する。 これらの問題に対処するために、我々は、相互接続されたモデルの構造的シーケンスを通して知識伝達を再定義する、Wakly-supervised Chain-based KD network (WeCKD)を提案する。 従来のKDとは異なり、進歩的蒸留連鎖を形成し、各モデルは前者から学習するだけでなく、前へ進む前に知識を洗練させる。 この構造化された知識伝達は、機能学習をさらに強化し、データ依存を減らし、一段階のKDの限界を緩和する。 蒸留連鎖の各モデルはデータセットのごく一部で訓練され、最小限の監督で効果的な学習が達成できることを示す。 4つの分光画像データセットの広範囲な評価は、それが一致しただけでなく、多くの場合、既存の教師付き手法の性能を上回っていることを示している。 他の2つのデータセットの実験結果は、顕微鏡や磁気共鳴イメージングを含む様々な医学的画像モダリティの一般化をさらに強調している。 さらに,本評価の結果,同じ限られたデータでトレーニングされた単一のバックボーンに対して,最大で23%の累積精度が得られた。

関連論文リスト

• Enriching Knowledge Distillation with Cross-Modal Teacher Fusion [4.704107417683679]
  複数教師の知識蒸留(KD)は、専門教師からロジットや特徴マッチングを用いて、コンパクトな学生モデルに知識を伝達する。 従来の教師のロジットや特徴をCLIPと融合する,シンプルで効果的なフレームワークを提案する。 分析の結果,教師の自信と信頼度は向上し,信頼度は著しく向上し,信頼度は低下した。
  論文  参考訳（メタデータ） (2025-11-12T12:50:15Z)
• Cross-View Consistency Regularisation for Knowledge Distillation [13.918476599394603]
  この研究は、半教師付き学習のような分野におけるクロスビュー学習の成功に触発されている。 標準ロジット蒸留フレームワークにインテリアビューおよびクロスビューレギュラー化を導入する。 また,教師の蒸留信号の品質向上のために,信頼性に基づくソフトラベルマイニングを実施している。
  論文  参考訳（メタデータ） (2024-12-21T05:41:47Z)
• Active Data Curation Effectively Distills Large-Scale Multimodal Models [66.23057263509027]
  知識蒸留(KD)は、大規模モデルをより小さなものに圧縮するデファクトスタンダードである。 本研究では, 対照的なマルチモーダル事前学習のための効果的な蒸留法として, 能動的データキュレーションの代替として, 簡単なアプローチを探求する。 我々の単純なオンラインバッチ選択方法であるACIDは、さまざまなモデル、データ、計算構成において、強力なKDベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-11-27T18:50:15Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• DisCoM-KD: Cross-Modal Knowledge Distillation via Disentanglement Representation and Adversarial Learning [3.763772992906958]
  クロスモーダル知識蒸留(英語: Cross-modal knowledge distillation, CMKD)とは、学習フレームワークが、モダリティミスマッチを示すトレーニングとテストデータを扱う必要があるシナリオを指す。 DisCoM-KD (Disentanglement-learning based Cross-Modal Knowledge Distillation) は、モジュールごとの情報の種類を明示的にモデル化する。
  論文  参考訳（メタデータ） (2024-08-05T13:44:15Z)
• Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
  本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。 データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
  論文  参考訳（メタデータ） (2024-06-05T12:06:04Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
  イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。 本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。 EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-24T08:48:16Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。