論文の概要: TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models

• arxiv url: http://arxiv.org/abs/2605.08241v1
• Date: Thu, 07 May 2026 07:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.488034
• Title: TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models
• Title（参考訳）: TinySSL: サブメガバイトMCUモデルの自己監督型事前トレーニング
• Authors: Bibin Wilson,
• Abstract要約: 自己教師付き学習(SSL)は、大規模モデルの表現学習を変換しているが、500K未満のパラメータを持つマイクロコントローラ(MCU)クラスモデルでは探索されていない。 本稿では,教師指導型フレームワークであるCA-DSSL(Capacity-Aware Distilled Self-Supervised Learning)を提案する。 予備的な ImageNet-100 実験により、CA-DSSL の利点は小さなデータレシエーションに特有であることが判明した。
• 参考スコア（独自算出の注目度）: 0.14504054468850666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) has transformed representation learning for large models, yet remains unexplored for microcontroller (MCU)-class models with fewer than 500K parameters. We identify three obstacles at this scale -- projection head dominance, representation bottleneck, and augmentation sensitivity -- and propose Capacity-Aware Distilled Self-Supervised Learning (CA-DSSL), a teacher-guided framework that overcomes them without labels or text supervision. CA-DSSL combines asymmetric distillation from a frozen DINO ViT-S/16 teacher, multi-scale feature distillation for spatial representations, and a progressive augmentation curriculum. On a MobileNetV2-0.35 backbone (396K parameters) pretrained on CIFAR-100, CA-DSSL reaches 62.7 0.5% linear-probe accuracy (3-seed mean) -- surpassing SimCLR-Tiny by 18 pp, matching SEED (61.7%) with 10 fewer projection parameters (426K vs. 3.15M), and reaching 94.0% of a supervised upper bound. Standard SSL methods (BYOL-Tiny, DINO-Tiny) collapse entirely at this scale. On Pascal VOC detection, CA-DSSL achieves 2.3 the mAP of random initialization and +3 pp over SEED, though SimCLR-Tiny matches CA-DSSL on detection mAP. The deployed backbone occupies 378 KB (INT8) with no inference overhead from pretraining. Preliminary ImageNet-100 experiments reveal that CA-DSSL's advantage is specific to small-data regimes; scaling to ImageNet-1K is discussed as future work.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、大規模モデルの表現学習を変換しているが、500K未満のパラメータを持つマイクロコントローラ(MCU)クラスモデルでは探索されていない。 このスケールでは、プロジェクションヘッドの優位性、表現ボトルネック、拡張感度の3つの障害を特定し、ラベルやテキストの監督なしにそれらを克服する教師主導のフレームワークであるCA-DSSL(Capacity-Aware Distilled Self-Supervised Learning)を提案する。 CA-DSSLは、凍結したDINO ViT-S/16教師の非対称蒸留、空間表現のための多スケールな特徴蒸留、進歩的拡張カリキュラムを組み合わせたものである。 CIFAR-100で事前訓練されたMobileNetV2-0.35のバックボーン(396Kパラメータ)では、CA-DSSLは62.7 0.5%の線形プローブ精度(3-seed mean)に達し、SimCLR-Tinyを18ppで上回り、SEED(61.7%)と10個の予測パラメータ(426K vs. 3.15M)をマッチングし、監督上界の94.0%に達した。 標準SSLメソッド(BYOL-Tiny, DINO-Tiny)は、このスケールで完全に崩壊する。 パスカルVOC検出では、CA-DSSLはランダム初期化の2.3とSEEDの+3ppを達成したが、SimCLR-Tinyは検出のmAPでCA-DSSLと一致している。 デプロイされたバックボーンは378KB (INT8) で、事前トレーニングのオーバーヘッドは発生しない。 予備的な ImageNet-100 実験では,CA-DSSL のメリットは小規模なデータレシエーションに特有であることが示されている。

関連論文リスト

• Trust-SSL: Additive-Residual Selective Invariance for Robust Aerial Self-Supervised Learning [6.479513353756828]
  自己教師付き学習 (SSL) は、航空画像における表現学習の標準的手法である。 本研究では,このような汚職に対するSSLを強化するためのトレーニング戦略とアーキテクチャ修正を提案する。 この方法は、EuroSAT、AID、NWPU-RESISC45の6つのバックボーンの中で、最も高い平均線形プローブ精度を実現する。
  論文  参考訳（メタデータ） (2026-04-23T07:07:59Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• TinyCLIP: CLIP Distillation via Affinity Mimicking and Weight Inheritance [97.01406871579525]
  大規模言語画像事前学習モデルのための新しいクロスモーダル蒸留法TinyCLIPを提案する。 また、TinyCLIPは、トレーニング済みのCLIP ViT-B/32のサイズを50%削減し、ゼロショット性能を同等に維持できることを示した。 YFCC-15MでトレーニングしたTinyCLIP ViT-8M/16は、ImageNetで41.1%という印象的なゼロショットトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-09-21T17:59:53Z)
• Speech separation with large-scale self-supervised learning [41.96634125460265]
  WavLMのような自己教師付き学習(SSL)手法は、小規模なシミュレーションに基づく実験において、有望な音声分離(SS)結果を示している。 トレーニング済みデータ(300K時間以上)と微調整データ(10K時間以上)の両方を大規模にスケールアップすることで、SSLベースのSSの探索を拡張します。
  論文  参考訳（メタデータ） (2022-11-09T20:00:21Z)
• Elastic Weight Consolidation Improves the Robustness of Self-Supervised Learning Methods under Transfer [4.2141621237414615]
  自己教師付き表現学習(SSL)手法は、下流タスクの微調整に有効なラベルなし初期条件を提供する。 我々はベイジアン連続学習のレンズの下でSSLの微調整を再解釈し、Elastic Weight Consolidation (EWC)フレームワークによる正規化を検討する。 初期SSLバックボーンに対する自己正規化は、ウォーターバードの最低サブグループ性能を5%改善し、Celeb-Aを2%向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-28T19:00:25Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features [56.89813105411331]
  我々は,SimCLR,SwaV,MoCo,BYOL,DINO,SimSiam,VICReg,Barlow Twinsといった最先端の自己教師型モデルの表現空間について検討した。 本稿では,標本が誤分類される可能性を確実に予測できる教師なしスコアである自己監督表現品質スコア(Qスコア)を提案する。 Q-Score正規化による微調整により、SSLモデルの線形探索精度はImageNet-100で5.8%、ImageNet-1Kで3.7%向上する。
  論文  参考訳（メタデータ） (2022-03-03T17:48:23Z)
• Exploiting Large-scale Teacher-Student Training for On-device Acoustic Models [15.237992590162593]
  音響モデル(AM)の半教師付き学習(SSL)におけるAlexa音声チームの結果を示す。 少数のフットプリント設定でAMのSSLについて議論し、100万時間の教師なしデータで訓練されたより小さなキャパシティモデルが、14.3%のワードエラー率削減(WERR)によってベースライン監視システムより優れていることを示した。 教師なしデータによる学習効率が高い一方で、学生モデルはそのような設定で教師モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-06-11T02:23:40Z)
• A Simple Semi-Supervised Learning Framework for Object Detection [55.95789931533665]
  半教師付き学習(SSL)は、ラベルなしデータを用いた機械学習モデルの予測性能を改善する可能性がある。 本稿では,データ拡張戦略とともに,視覚オブジェクト検出のための簡易かつ効果的なSSLフレームワークSTACを提案する。
  論文  参考訳（メタデータ） (2020-05-10T19:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。