論文の概要: Efficient Few-Shot Learning for Edge AI via Knowledge Distillation on MobileViT

• arxiv url: http://arxiv.org/abs/2603.26145v1
• Date: Fri, 27 Mar 2026 08:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.396064
• Title: Efficient Few-Shot Learning for Edge AI via Knowledge Distillation on MobileViT
• Title（参考訳）: MobileViTにおける知識蒸留によるエッジAIの効率的なFew-Shot学習
• Authors: Shuhei Tsuyuki, Reda Bensaid, Jérémy Morlier, Mathieu Léonardon, Naoya Onizawa, Vincent Gripon, Takahiro Hanyu,
• Abstract要約: エッジコンピューティング用に設計されたMobileViTバックボーンの事前学習手法を提案し,評価する。 我々は,大規模教師モデルの一般化能力を軽量学生モデルに伝達する知識蒸留を採用している。 この手法は,MiniImageNetベンチマークにおいて,1ショットと5ショットの分類において,それぞれ14%と6.7%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 3.7662318228504525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient and adaptable deep learning models are an important area of deep learning research, driven by the need for highly efficient models on edge devices. Few-shot learning enables the use of deep learning models in low-data regimes, a capability that is highly sought after in real-world applications where collecting large annotated datasets is costly or impractical. This challenge is particularly relevant in edge scenarios, where connectivity may be limited, low-latency responses are required, or energy consumption constraints are critical. We propose and evaluate a pre-training method for the MobileViT backbone designed for edge computing. Specifically, we employ knowledge distillation, which transfers the generalization ability of a large-scale teacher model to a lightweight student model. This method achieves accuracy improvements of 14% and 6.7% for one-shot and five-shot classification, respectively, on the MiniImageNet benchmark, compared to the ResNet12 baseline, while reducing by 69% the number of parameters and by 88% the computational complexity of the model, in FLOPs. Furthermore, we deployed the proposed models on a Jetson Orin Nano platform and measured power consumption directly at the power supply, showing that the dynamic energy consumption is reduced by 37% with a latency of 2.6 ms. These results demonstrate that the proposed method is a promising and practical solution for deploying few-shot learning models on edge AI hardware.
• Abstract（参考訳）: 効率的で適応性の高いディープラーニングモデルは、エッジデバイス上での高効率モデルの必要性から、ディープラーニング研究の重要な領域である。 これは、大規模なアノテートデータセットの収集にコストがかかる、あるいは実用的でない現実世界のアプリケーションで、非常に求められている機能だ。 この課題は、接続が制限されたり、低遅延応答が必要であったり、エネルギー消費の制約が重要であったりするエッジシナリオに特に関係している。 エッジコンピューティング用に設計されたMobileViTバックボーンの事前学習手法を提案し,評価する。 具体的には,大規模教師モデルの一般化能力を軽量学生モデルに伝達する知識蒸留を用いる。 この手法は,1ショットと5ショットの分類において,ResNet12ベースラインと比較して14%と6.7%の精度向上を実現し,パラメータ数を69%削減し,FLOPでは88%削減した。 さらに,提案したモデルをJetson Orin Nanoプラットフォーム上に展開し,電力供給時に直接電力消費量を測定し,動的エネルギー消費量が2.6msのレイテンシで37%削減されることを示した。

関連論文リスト

• Lightweight Transformer Architectures for Edge Devices in Real-Time Applications [0.0]
  本調査では,エッジデプロイメント用に設計された軽量トランスフォーマーアーキテクチャについて検討する。 我々は、MobileBERT、TinyBERT、DistilBERT、EfficientFormer、EdgeFormer、MobileViTなど、注目すべき軽量版を体系的にレビューした。 実験により, モデルサイズを4～10倍, 推論遅延を3～9倍削減し, モデル精度を75～96%向上できることを確認した。
  論文  参考訳（メタデータ） (2026-01-05T01:04:25Z)
• Trace-of-Thought Prompting: Investigating Prompt-Based Knowledge Distillation Through Question Decomposition [6.066322919105025]
  本稿では,高リソースの教師モデルから低リソースの学生モデルへの重要な推論能力を抽出する新しいフレームワークであるTrace-of-Thought Promptingを紹介する。 我々の結果は、オープンソースで低リソースのモデルが最終的には学生と教師の両方に役立てられるという、有望な道筋を示唆している。
  論文  参考訳（メタデータ） (2025-04-29T17:14:54Z)
• Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification [28.08042498882207]
  本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 我々のフレームワークは,信頼性の高い分類作業に必要な厳密な信頼しきい値に固執することにより,軽量な学生モデルの精度,精度,リコールを90%以上越えることを可能にする。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-31T21:13:40Z)
• GRIN: GRadient-INformed MoE [132.87651078514122]
  Mixture-of-Experts (MoE)モデルは、エキスパートルーティングによるスパース計算により、密度の高いモデルよりも効果的にスケールする。 エキスパートルーティングのためのスパース勾配推定を組み込んだGRIN(GRadient-Informed MoE Training)を導入する。 我々のモデルは6.6Bの活性化パラメータしか持たないが、7Bの密度モデルより優れており、同じデータで訓練された14Bの密度モデルの性能と一致している。
  論文  参考訳（メタデータ） (2024-09-18T17:00:20Z)
• Efficient Point Cloud Classification via Offline Distillation Framework and Negative-Weight Self-Distillation Technique [46.266960248570086]
  本稿では,教師モデルと生徒モデルの両方の同時ロードを回避する,革新的なオフライン記録戦略を提案する。 このアプローチは教師モデルに多数の追加サンプルを投入し、データ拡張パラメータと対応するロジット出力の両方を記録する。 実験により, 提案した蒸留方式により, 学生モデルが最先端モデルに匹敵する性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-03T16:12:12Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
  最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。 蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
  論文  参考訳（メタデータ） (2021-06-09T17:20:40Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。