論文の概要: Promise and Limits of Cross-Architecture Knowledge Distillation for Lightweight Medical Vision Transformers (LiteMed-ViT)

• arxiv url: http://arxiv.org/abs/2610.33520v1
• Date: Sat, 24 Oct 2026 07:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.352118
• Title: Promise and Limits of Cross-Architecture Knowledge Distillation for Lightweight Medical Vision Transformers (LiteMed-ViT)
• Title（参考訳）: 軽量医用ビジョントランス(LiteMed-ViT)におけるクロスアーキテクチャ知識蒸留の約束と限界
• Abstract要約: LiteMed-ViTは、コンボリューションステムとクラスバランスの蒸留目標を備えた双発ViTとして導入された。 LiteMed-ViTは、様々なモダリティとクラスバランスのBloodMNISTサブセットの3つのベースラインよりも精度が高い。 DermaMNISTでは、LiteMed-ViTのバランスの取れた精度は最強のコンパクトCNNよりも1.9ポイント低い。
• 参考スコア（独自算出の注目度）: 1.7670413189452034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Running deep models for medical image analysis at the point of care is challenging with standard architectures: convolutional neural networks (CNNs) are often too heavy for edge devices, while Vision Transformers (ViTs) require massive training datasets to compensate for missing inductive biases. This study investigates how far the dual-token distillation used to train data-efficient ViTs can be pushed when applied across architectures, from a CNN-based teacher into a lightweight ViT student. LiteMed-ViT is introduced as a dual-token ViT featuring a convolutional stem and a class-balanced distillation objective; at 0.234M parameters, LiteMed-ViT carries 47.8x fewer parameters than its ResNet18 teacher at a memory footprint of just 0.89 MB. Evaluated against three compact CNN baselines on three MedMNIST subsets of varying modality and class balance, LiteMed-ViT attains higher accuracy than all three baselines on BloodMNIST (95.05%) and two on PathMNIST (89.15%). Under MedMNIST-C corruptions, it is at least as robust as every compact CNN across all subsets, outperforming them on BloodMNIST and PathMNIST without declining in relative standing as severity increases. Particular attention is devoted to identifying the exact conditions where performance plateaus. On DermaMNIST, LiteMed-ViT's balanced accuracy remains up to 1.9 points below the strongest compact CNNs and does not benefit from higher input resolutions up to 224 pixels, where ResNet18 gains 12.6 points. Stronger teachers do not yield a more accurate student, and overconfident ones lower its DermaMNIST balanced accuracy unless calibrated.
• Abstract（参考訳）: 医療画像分析の深いモデルを実行することは、標準的なアーキテクチャでは難しい。畳み込みニューラルネットワーク(CNN)は、エッジデバイスでは重すぎることが多いが、視覚変換(ViT)は、欠落した帰納的バイアスを補うために大規模なトレーニングデータセットを必要とする。 本研究では、CNNベースの教師から軽量なViT学生まで、建築全体に適用する際に、データ効率のよいViTを訓練するために使用する二重トーケン蒸留がどの程度まで押しられるかを検討する。 LiteMed-ViTは、畳み込み茎とクラスバランスの蒸留目標を備えた双発ViTとして導入されており、0.234Mパラメータでは、ResNet18の教師よりも47.8倍少ないパラメータをわずか0.89MBのメモリフットプリントで搭載している。 様々なモダリティとクラスバランスの3つのMedMNISTサブセット上の3つのコンパクトCNNベースラインに対して評価され、LiteMed-ViTはBloodMNISTの3つのベースライン(95.05%)とPathMNISTの2つのベースライン(89.15%)よりも精度が高い。 MedMNIST-C の汚職の下では、全てのサブセットにおけるすべてのコンパクト CNN と同じくらい堅牢であり、重症度が増加するにつれて相対的な地位を低下させることなく、BloodMNIST や PathMNIST よりも優れている。 特に注目されるのは、パフォーマンスプラトーの正確な条件を特定することである。 DermaMNISTでは、LiteMed-ViTのバランスの取れた精度は最強のCNNより1.9ポイント低く、ResNet18が12.6ポイント向上する224ピクセルの高解像度の恩恵を受けない。 より強い教師はより正確な生徒を得ることができず、過度に自信のある教師は校正されない限り、DermaMNISTのバランスの取れた正確さを低下させる。

関連論文リスト

• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• RepViT: Revisiting Mobile CNN From ViT Perspective [67.05569159984691]
  軽量ビジョントランス (ViT) は、軽量畳み込みニューラルネットワーク (CNN) と比較して、優れた性能と低レイテンシを示す 本研究では、ViTの観点から軽量CNNの効率的な設計を再考し、モバイルデバイスへの将来性を強調した。
  論文  参考訳（メタデータ） (2023-07-18T14:24:33Z)
• Delving into Masked Autoencoders for Multi-Label Thorax Disease Classification [16.635426201975587]
  ビジョントランスフォーマー (ViT) は、データハングリーの性質と注釈付き医療データの欠如により、医療タスクにおける畳み込みニューラルネットワーク (CNN) に劣る性能を示した。 本稿では,266,340個の胸部X線をMasked Autoencoders (MAE) で事前トレーニングし,各画像の小さな部分から失明画素を再構成する。 以上の結果から,VTは多ラベル胸部疾患分類のための最先端CNN (DenseNet-121) と相容れない(時折良い)ことが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T20:14:57Z)
• Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs [55.78588835407174]
  視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。 ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。 以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T09:07:45Z)
• Convolutional Embedding Makes Hierarchical Vision Transformer Stronger [16.72943631060293]
  ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンタスクの領域を支配しているが、訓練データ効率の低下と、適切な帰納バイアスを伴わない局所意味表現能力の低下に悩まされている。 CNNは本質的に地域を意識したセマンティクスを捉え、研究者はCNNをViTのアーキテクチャに戻して、ViTに望ましい帰納的バイアスを与えるよう促す。 本稿では,ハイブリッドCNN/ViTのマクロアーキテクチャが階層型ViTの性能をいかに向上させるかを検討する。
  論文  参考訳（メタデータ） (2022-07-27T06:36:36Z)
• Vision Transformers for femur fracture classification [59.99241204074268]
  Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。 史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
  論文  参考訳（メタデータ） (2021-08-07T10:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。