論文の概要: OrthKD: Extracting Generalized Clinical Knowledge from Heterogeneous Teachers for Lightweight Deployment

• arxiv url: http://arxiv.org/abs/2607.25545v1
• Date: Tue, 28 Jul 2026 10:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.797008
• Title: OrthKD: Extracting Generalized Clinical Knowledge from Heterogeneous Teachers for Lightweight Deployment
• Title（参考訳）: OrthKD: ライトウェイト展開のための異種教員から一般臨床知識を抽出する
• Abstract要約: マルチ教師の知識蒸留(KD)は自然な圧縮戦略であるが、既存の手法ではすべての教師が同等に信頼できる監督を提供すると想定されている。 我々は,強いCNNから完全な監督を伝達する選択的トラスト蒸留フレームワークOrthKDを提案する。 この設計は局所的な病変の精度を保ち、グローバルな構造的コンテキストを注入し、分布シフトに対する堅牢性を向上させる。
• 参考スコア（独自算出の注目度）: 8.442590154864684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying diabetic retinopathy (DR) screening models in primary care requires edge-efficient systems that remain accurate, safe, and reliable under domain shift. Multi-teacher knowledge distillation (KD) is a natural compression strategy, but existing approaches largely assume that all teachers provide equally trustworthy supervision. In our setting, this assumption fails: a strong CNN teacher (EfficientNet-B3, 0.876 QWK) and a weaker Transformer teacher (Swin-Base, 0.830 QWK) are complementary, yet the Transformer's logits can still mislead the student. We therefore propose OrthKD, a selective-trust distillation framework that transfers full supervision from the strong CNN, uses feature-only distillation from the weak ViT, and enforces orthogonality between teacher-specific student projections to encourage complementary rather than redundant evidence. This design preserves local lesion precision, injects global structural context, and improves robustness to distribution shift. On 132,049 retinal images, a 5.4M-parameter MobileNetV3 student reaches 0.885 QWK on EyePACS and improves zero-shot Messidor-2 performance from 0.507 to 0.728 QWK, while also achieving strong referral AUC and calibration. These results show that selectively distilling heterogeneous teachers can enable practical DR screening on resource-constrained devices.
• Abstract（参考訳）: 糖尿病網膜症(DR)スクリーニングモデルをプライマリケアに展開するには、正確で安全で信頼性の高いエッジ効率のシステムが必要である。 マルチ教師の知識蒸留(KD)は自然な圧縮戦略であるが、既存の手法ではすべての教師が同等に信頼できる監督を提供すると想定されている。 強力なCNN教師 (EfficientNet-B3, 0.876 QWK) と弱いトランスフォーマー教師 (Swin-Base, 0.830 QWK) は相補的であるが、トランスフォーマーのロジットは学生を誤解させる可能性がある。 そこで我々は,強いCNNから全監督を移譲する選択的トラスト蒸留フレームワークであるOrthKDを提案する。 この設計は局所的な病変の精度を保ち、グローバルな構造的コンテキストを注入し、分布シフトに対する堅牢性を向上させる。 132,049枚の網膜画像では、5.4MパラメータのMobileNetV3の学生がEyePACSで0.885 QWKに達し、0ショットのMessidor-2のパフォーマンスを0.507から0.728 QWKに改善した。 これらの結果から,異種教員を選択的に蒸留することにより,資源制約装置上でのDRスクリーニングが可能であることが示唆された。

関連論文リスト

• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• Revisiting Cross-Architecture Distillation: Adaptive Dual-Teacher Transfer for Lightweight Video Models [23.54434747665913]
  クロスアーキテクチャ知識蒸留(CAKD)は、知識をViTからCNNに転送することでこの問題に対処する。 異種 ViT 教師と同種 CNN 教師の双方を利用した 2 つの教員知識蒸留フレームワークを提案する。 我々の方法は、常に最先端の蒸留手法より優れています。
  論文  参考訳（メタデータ） (2025-11-12T16:39:54Z)
• PLD: A Choice-Theoretic List-Wise Knowledge Distillation [12.52282972328311]
  リストのランク付けを重み付けした "Plackett-Luce Distillation (PLD)" を導入する。 PLDは多様なアーキテクチャや蒸留目標に対して一貫した利益を達成する。
  論文  参考訳（メタデータ） (2025-06-14T15:31:54Z)
• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• On Self-Distilling Graph Neural Network [64.00508355508106]
  GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。 本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。 また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
  論文  参考訳（メタデータ） (2020-11-04T12:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。