論文の概要: Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models

• arxiv url: http://arxiv.org/abs/2606.00928v1
• Date: Sat, 30 May 2026 23:34:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.982984
• Title: Single-Channel Tissue Segmentation via Cross-Modal Distillation from Foundation Models
• Title（参考訳）: 基礎モデルからのクロスモーダル蒸留による単細胞組織分画
• Abstract要約: 多重蛍光顕微鏡は、核(DAPI)と膜(E-カドヘリン)を含む相補的なチャネルを提供することで組織セグメンテーションを改善する 本研究では,核チャネルのみで動作する軽量の学生に,凍結基礎モデル教師による多重入力処理から意味情報を伝達するクロスモーダルな知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiplexed fluorescence microscopy improves tissue segmentation by providing complementary channels including nuclear (DAPI) and membrane (E-cadherin), that together encode richer spatial context than single-channel imaging alone. However, multiplexed models require all channels at inference, limiting deployment where only a subset is available. This work proposes a cross-modal knowledge distillation framework that transfers semantic information from a frozen foundation model teacher processing multiplexed input to a lightweight student operating on the nuclear channel only. The distillation objective combines MSE-based probability matching, boundary-aware supervision, and learnable uncertainty weighting. SAM ViT-H and CellSAM are evaluated as teachers across four U-Net students: Swin-Tiny (27M), ResNet18 (11M), EfficientNet-B0 (5.3M), and MobileNetV3 (1.5M), on TissueNet and BBBC038. On TissueNet, the SAM-distilled Swin-Tiny student achieves Dice 78.36 (plus or minus 1.44), a 13.05-point improvement over the no-KD baseline (65.31 plus or minus 1.35) and 87.9% recovery of teacher oracle performance (89.12 plus or minus 1.21) at a 23x parameter reduction. KD consistently improves all four students by approximately 12 Dice points, confirming architecture-agnostic distillation. SAM ViT-H outperforms CellSAM as teacher across all settings. Cross-dataset evaluation on BBBC038 shows consistent gains without teacher retraining.
• Abstract（参考訳）: 多重蛍光顕微鏡は、核(DAPI)と膜(E-カドヘリン)を含む相補的なチャネルを提供することにより、組織セグメンテーションを改善する。 しかし、多重化モデルは推論時にすべてのチャネルを必要とし、サブセットのみが利用可能なデプロイメントを制限する。 本研究では,核チャネルのみで動作する軽量な学生に,凍結基礎モデル教師による多重入力処理から意味情報を伝達するクロスモーダルな知識蒸留フレームワークを提案する。 蒸留の目的は, MSEに基づく確率マッチング, 境界認識型監視, 学習可能な不確実性重み付けを組み合わせることである。 SAM ViT-HとCellSAMは、Swin-Tiny (27M), ResNet18 (11M), EfficientNet-B0 (5.3M), MobileNetV3 (1.5M)の4人のU-Net学生の教師として評価されている。 tissueNetでは、SAM-distilled Swin-Tinyの学生は、Dice 78.36(プラス、マイナス1.44)、No-KDベースライン(65.31プラスまたはマイナス1.35)の13.05ポイントの改善、および教師のオラクル性能の87.9%の回復(89.12プラスまたはマイナス1.21)を23倍のパラメータ還元で達成している。 KDは4人の生徒をほぼ12のDiceポイントで継続的に改善し、建築に依存しない蒸留を確認している。 SAM ViT-Hは、すべての設定でCellSAMより優れています。 BBBC038のクロスデータセット評価は、教師の再訓練なしに一貫した利得を示す。

関連論文リスト

• OrthKD: Extracting Generalized Clinical Knowledge from Heterogeneous Teachers for Lightweight Deployment [8.442590154864684]
  マルチ教師の知識蒸留(KD)は自然な圧縮戦略であるが、既存の手法ではすべての教師が同等に信頼できる監督を提供すると想定されている。 我々は,強いCNNから完全な監督を伝達する選択的トラスト蒸留フレームワークOrthKDを提案する。 この設計は局所的な病変の精度を保ち、グローバルな構造的コンテキストを注入し、分布シフトに対する堅牢性を向上させる。
  論文  参考訳（メタデータ） (2026-07-28T10:24:40Z)
• Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models [1.9573380763700714]
  複数のPFMから小型エッジ指向エンコーダに冷凍タイル埋め込みを蒸留する事前学習フレームワーク MuCoDi を提案する。 11.8KのWSIから14.3MのTCGAタイルをプレトレーニングし、23の下流分類タスクで凍結エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2026-07-06T18:14:37Z)
• Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models [25.171094765557996]
  8Bの高密度と16BのMoE教師を0.6Bの学生に蒸留すると、2つの異種パイプラインがベースラインを平均1.53ポイント上回る。 HumanEvalのスコアは、ARベースラインの32.3に比べて48.78である。
  論文  参考訳（メタデータ） (2026-04-29T17:59:01Z)
• Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model [53.77953728335891]
  ラテント拡散モデルは、独立したエンコーダ、デコーダ、拡散ネットワークからなる複雑な3部アーキテクチャに依存している。 本研究では,潜伏空間を安定化させる学習目標に重要な変更を加えた新たなフレームワークであるDeffusion as Self-Distillation (DSD)を提案する。 このアプローチにより、単一のネットワークの安定したエンドツーエンドトレーニングが初めて実現され、同時にエンコード、デコード、拡散の実行を学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-18T17:58:16Z)
• CoMAD: A Multiple-Teacher Self-Supervised Distillation Framework [1.2172320168050466]
  CoMAD (Consensus-oriented Masked Distillation) について紹介する。 自己監督型ビジョントランスフォーマーからの知識を、コンパクトな学生ネットワークに統合する。 ImageNet-1Kでは、CoMADのViT-Tinyが75.4%のTop-1を達成した。
  論文  参考訳（メタデータ） (2025-08-06T18:55:14Z)
• ScaleKD: Strong Vision Transformers Could Be Excellent Teachers [15.446480934024652]
  本稿では, 簡便かつ効果的な知識蒸留法であるScaleKDを提案する。 本手法は,画像分類データセット上で,さまざまな畳み込みニューラルネットワーク(CNN),多層パーセプトロン(MLP),ViTアーキテクチャにまたがる学生のバックボーンを訓練することができる。 教師モデルやその事前学習データセットのサイズをスケールアップする際,提案手法は所望のスケーラブルな特性を示す。
  論文  参考訳（メタデータ） (2024-11-11T08:25:21Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• A Simple and Generic Framework for Feature Distillation via Channel-wise Transformation [35.233203757760066]
  学習可能な非線形チャネルワイズ変換を提案し,教師モデルと生徒の特徴を一致させる。 本手法は,様々なコンピュータビジョンタスクにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-03-23T12:13:29Z)
• EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
  本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。 本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。 画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
  論文  参考訳（メタデータ） (2022-06-19T04:49:35Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
  我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。 本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。 従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
  論文  参考訳（メタデータ） (2021-09-23T16:55:01Z)
• Channel-wise Knowledge Distillation for Dense Prediction [73.99057249472735]
  本稿では,学生ネットワークと教師ネットワークのチャンネルワイズ機能について提案する。 様々なネットワーク構造を持つ3つのベンチマークにおいて、一貫して優れた性能を実現している。
  論文  参考訳（メタデータ） (2020-11-26T12:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。