論文の概要: Scaling Multi-Teacher Distillation for Digital Pathology

• arxiv url: http://arxiv.org/abs/2610.12574v1
• Date: Thu, 08 Oct 2026 18:02:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.242078
• Title: Scaling Multi-Teacher Distillation for Digital Pathology
• Title（参考訳）: デジタル診断のためのマルチテラー蒸留のスケーリング
• Abstract要約: 本研究は, 学生エンコーダの訓練に使用する教師数の増加に対して, 標準的なマルチティーチンガー蒸留法が不十分であることを示す。 我々は,MTDにおける教師固有の表現の学習が,MTDのスケーリングの鍵であることを実証した。 我々は,10の最先端基盤モデルの知識から訓練を受けた,強力で効率的な基礎モデルの新たなコレクションOMNIをリリースする。
• 参考スコア（独自算出の注目度）: 32.76372127337875
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-teacher distillation allows transferring knowledge from multiple "teacher" networks to a single "student" network. This method is promising in fields such as digital pathology, where many powerful foundation models were proposed recently. However, as we show in this paper, the standard multi-teacher distillation approach reacts poorly to an increase in the number of teachers used to train a student encoder. We demonstrate that learning teacher-specific representations is a key to scaling in MTD. Importantly, different design choices, such as learnable teacher tokens, a tailored attention scheme, additional mixture-of-experts layers and a contrastive loss, are proposed to better learn such teacher-specific representations. We show that our method better scales with respect to the number of considered teachers, allowing us to train compact student encoders, up to 10x more efficient than larger teacher foundation models, while matching their performance and even outperforming them on a large set of tile-level and slide-level tasks. We conduct a thorough empirical validation, evaluating more than 10 foundation models on 39 tasks spanning tile and slide levels. As a result, we release a new collection of strong and efficient foundation models, named OMNI, trained from the knowledge of 10 state-of-the-art foundation models. We finally conduct an analysis of the learned teacher-specific representations, highlighting their complementarity and explaining why they can be easily aggregated at downstream time.
• Abstract（参考訳）: マルチティーチンガー蒸留は、複数の「教師」ネットワークから1つの「学生」ネットワークに知識を伝達することを可能にする。 この方法は、近年多くの強力な基礎モデルが提案されているデジタル病理学などの分野において有望である。 しかし,本論文で示すように,学生エンコーダの訓練に使用する教師数の増加に対して,標準的なマルチティーチンガー蒸留手法は不十分である。 我々は,MTDにおける教師固有の表現の学習が,MTDのスケーリングの鍵であることを実証した。 重要なことは、教師固有の表現をよりよく学習するために、学習可能な教師トークン、調整された注意体系、追加の試験層、および対照的な損失などの異なる設計選択を提案することである。 提案手法は,教師の数を考慮し,より大規模な教師基盤モデルよりも最大10倍効率の高い,コンパクトな生徒エンコーダを訓練できると共に,その性能に適合し,タイルレベルとスライドレベルの大きなタスクにおいて,より優れた性能を発揮できることを示す。 タイルレベルとスライドレベルにまたがる39のタスクに対して、10以上の基礎モデルを評価する。 その結果,10の最先端基盤モデルの知識から,OMNIという,強力で効率的な基礎モデルのコレクションを新たにリリースした。 最終的に、学習した教師固有の表現を分析し、その相補性を強調し、下流で容易に集約できる理由を説明する。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• RADIOv2.5: Improved Baselines for Agglomerative Vision Foundation Models [60.596005921295806]
  集約モデルは、ビジョンファウンデーションモデルをトレーニングするための強力なアプローチとして現れています。 我々は、解像度モードシフト、教師の不均衡、慣用的教師アーティファクト、過剰な出力トークンなど、重要な課題を識別する。 本稿では,マルチレゾリューショントレーニング,モザイク強化,教師の損失関数のバランスの改善など,いくつかの新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-12-10T17:06:41Z)
• Adaptive Multi-Teacher Knowledge Distillation with Meta-Learning [16.293262022872412]
  適応型多教師知識蒸留とメタラーニング(MMKD)を提案する。 メタウェイトネットワークの助けを借りて、出力層と中間層における多様な教師の知識を活用し、生徒のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-06-11T09:38:45Z)
• Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks [28.215073725175728]
  マルチ教師による知識蒸留とネットワーク量子化を併用した,低ビット幅DNN学習のための新しいフレームワークを提案する。 CIFAR100 と ImageNet のデータセットを用いた実験結果から,本手法で訓練した小型量子化学生モデルによる競争結果が得られた。
  論文  参考訳（メタデータ） (2022-10-27T01:03:39Z)
• Knowledge Distillation via Weighted Ensemble of Teaching Assistants [18.593268785143426]
  知識蒸留は、教師と呼ばれる大きなモデルから学生と呼ばれる小さなモデルに知識を移す過程である。 教師と生徒のネットワークサイズギャップが大きくなると、学生ネットワークの性能は低下する。 学生モデル(より小さいモデル)は,複数の指導支援モデルを用いてさらに改善できることが示されている。
  論文  参考訳（メタデータ） (2022-06-23T22:50:05Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers [54.146208195806636]
  本稿では,事前学習型言語モデル圧縮のためのMT-BERTという多言語知識蒸留フレームワークを提案する。 MT-BERTは、複数の教師PLMから高品質な学生モデルを訓練できることを示す。 PLMの圧縮におけるMT-BERTの有効性を3つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2021-06-02T08:42:33Z)
• Adaptive Multi-Teacher Multi-level Knowledge Distillation [11.722728148523366]
  適応型多段階知識蒸留学習フレームワーク(AMTML-KD)を提案する。 i)各教師と潜在表現を関連付けて、インスタンスレベルの教師の重要性の重みを適応的に学習する。 そのため、学生モデルはAMMTML-KDを介して複数の教師から多レベルの知識を学ぶことができます。
  論文  参考訳（メタデータ） (2021-03-06T08:18:16Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。