論文の概要: Pretraining and Distillation Matter More Than Architecture Family for Label-Free Single-Cell Classification

• arxiv url: http://arxiv.org/abs/2609.09863v1
• Date: Wed, 09 Sep 2026 08:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.948982
• Title: Pretraining and Distillation Matter More Than Architecture Family for Label-Free Single-Cell Classification
• Title（参考訳）: ラベルフリーシングルセル分類のための建築ファミリー以上の前処理と蒸留
• Abstract要約: 我々は,LIVECell位相コントラスト顕微鏡データに対して,ソース・イメージ・ディスジョイント・トレイン/バリデーション/テストプロトコルを用いてベンチマークを行った。 これにより、建築、事前訓練、微調整、蒸留の影響を解消することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing a deep learning architecture for label-free single-cell classification remains an open question, with microscopy benchmarks reporting conflicting conclusions about CNNs versus transformers. We present a controlled benchmark on LIVECell phase-contrast microscopy data using source-image-disjoint train/validation/test splits to prevent parent-image leakage and matched optimisation, augmentation, and evaluation protocols across EfficientNet, Vision Transformer (ViT), and EVA-02 models. This allows the effects of architecture, pretraining, fine-tuning, tokenisation, and distillation to be disentangled. We find that the previously reported CNN advantage is largely explained by pretraining rather than architecture: the smallest pretrained model outperforms the strongest model trained from scratch despite far fewer parameters. Pretraining improves macro-F1 by 3-4 points, while the gap between the best pretrained CNN and transformer is below 0.5 points. Architectural choices nevertheless matter: ViT-S/8 outperforms ViT-S/16 and matches the four-times-larger ViT-B/16 at a quarter of the parameters, showing that finer tokenisation benefits small cell crops. Conversely, layer-wise learning-rate decay, central to the EVA-02 fine-tuning recipe, degrades performance, highlighting that transfer heuristics from natural-image recognition may not generalise to microscopy. Finally, knowledge distillation substantially improves the deployment frontier: compact EfficientNet-B0 students distilled from teacher councils outperform every individually trained backbone, including the EfficientNet-B5 and EVA-02 teachers. Overall, our results show that rigorous control of pretraining and evaluation is essential for interpreting biomedical architecture benchmarks, while distillation may be a more effective route to practical single-cell classification than architecture choice alone.
• Abstract（参考訳）: ラベルのないシングルセル分類のためのディープラーニングアーキテクチャを選択することは依然としてオープンな問題であり、マイクロスコープベンチマークではCNNとトランスフォーマーの相反する結論を報告している。 本稿では,LIVECell位相コントラスト顕微鏡データに対して,親画像のリークを防止し,EfficientNet, Vision Transformer (ViT), EVA-02モデル間の最適化, 拡張, 評価プロトコルを比較検討した。 これにより、アーキテクチャ、事前訓練、微調整、トークン化、蒸留が切り離される。 事前訓練された最小のモデルは、パラメータがはるかに少ないにもかかわらず、ゼロからトレーニングされた最強のモデルよりも優れています。 事前トレーニングはマクロF1を3～4ポイント改善する一方、最高の事前トレーニングされたCNNとトランスフォーマーのギャップは0.5ポイント以下である。 ViT-S/8はViT-S/16より優れ、4倍のViT-B/16とパラメータの4分の1で一致している。 逆に、EVA-02の微調整レシピの中心である階層的な学習速度の減衰は性能を低下させ、自然画像認識からの転移ヒューリスティックスが顕微鏡に一般化しない可能性があることを強調している。 最後に、知識蒸留は、デプロイのフロンティアを大幅に改善する: 教師評議会から蒸留されたコンパクトなEfficientNet-B0学生は、EfficientNet-B5やEVA-02教師を含む、個々の訓練されたバックボーンよりも優れています。 以上の結果から, バイオメディカル・アーキテクチャ・ベンチマークの解釈には, 事前学習と評価の厳密な制御が不可欠であることが示唆された。

関連論文リスト

• Performance and Interpretability of Convolutional, Transformer, and Hybrid Deep Learning Models in Colorectal Histology Classification [0.0]
  本研究では, Kather の大腸癌組織学データセットを用いて, ImageNet-pretrained CNN, Transformer, Hybrid Architectures の12種類の評価を行った。 EVA-02は最高性能(精度97.1%、F1スコア97.0%)を達成し、その後ViT-B/16が続いた。
  論文  参考訳（メタデータ） (2026-06-21T18:56:42Z)
• AgriKD: Cross-Architecture Knowledge Distillation for Efficient Leaf Disease Classification [0.05599792629509228]
  AgriKDは効率的なエッジデプロイメントのためのクロスアーキテクチャ知識蒸留フレームワークである。 ビジョントランスフォーマー(ViT)の教師から、コンパクトな畳み込み学生モデルに知識を移す。 それは無視できる精度で一貫した予測性能を達成する。
  論文  参考訳（メタデータ） (2026-05-02T09:58:57Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• TFOC-Net: A Short-time Fourier Transform-based Deep Learning Approach for Enhancing Cross-Subject Motor Imagery Classification [0.47498241053872914]
  脳-コンピュータ (BCI) におけるクロスオブジェクト運動画像 (CS-MI) の分類は、脳波 (EEG) パターンが個体によって異なるため難しい課題である。 この可変性はしばしば、対象特化モデルと比較して分類精度が低下する。 我々は、最適化された前処理とディープラーニング技術により、オブジェクト間MI分類性能を大幅に向上する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-03T10:17:39Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
  マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。 我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
  論文  参考訳（メタデータ） (2023-01-03T18:59:54Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。