論文の概要: ATMS-KD: Adaptive Temperature and Mixed Sample Knowledge Distillation for a Lightweight Residual CNN in Agricultural Embedded Systems

• arxiv url: http://arxiv.org/abs/2508.20232v1
• Date: Wed, 27 Aug 2025 19:23:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.766302
• Title: ATMS-KD: Adaptive Temperature and Mixed Sample Knowledge Distillation for a Lightweight Residual CNN in Agricultural Embedded Systems
• Title（参考訳）: ATMS-KD:農業用組込みシステムにおける軽量残留CNNの適応温度と混合サンプル知識蒸留
• Authors: Mohamed Ohamouddou, Said Ohamouddou, Abdellatif El Afia, Rafik Lasri,
• Abstract要約: ATMS-KD(Adaptive Temperature and Mixed-Sample Knowledge Distillation)は、軽量CNNモデルを開発するための新しいフレームワークである。 このフレームワークは、適応的な温度スケジューリングと混合サンプル拡張を組み合わせることで、MobileNetV3大教師モデルから軽量残留CNN学生に知識を伝達する。 本研究で使用したデータセットは,モロッコ南東部,ダデスオアシスの農地から採取したテライトロサ・ダマスセナ(Damask rose)の画像からなる。
• 参考スコア（独自算出の注目度）: 0.6299766708197883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study proposes ATMS-KD (Adaptive Temperature and Mixed-Sample Knowledge Distillation), a novel framework for developing lightweight CNN models suitable for resource-constrained agricultural environments. The framework combines adaptive temperature scheduling with mixed-sample augmentation to transfer knowledge from a MobileNetV3 Large teacher model (5.7\,M parameters) to lightweight residual CNN students. Three student configurations were evaluated: Compact (1.3\,M parameters), Standard (2.4\,M parameters), and Enhanced (3.8\,M parameters). The dataset used in this study consists of images of \textit{Rosa damascena} (Damask rose) collected from agricultural fields in the Dades Oasis, southeastern Morocco, providing a realistic benchmark for agricultural computer vision applications under diverse environmental conditions. Experimental evaluation on the Damascena rose maturity classification dataset demonstrated significant improvements over direct training methods. All student models achieved validation accuracies exceeding 96.7\% with ATMS-KD compared to 95--96\% with direct training. The framework outperformed eleven established knowledge distillation methods, achieving 97.11\% accuracy with the compact model -- a 1.60 percentage point improvement over the second-best approach while maintaining the lowest inference latency of 72.19\,ms. Knowledge retention rates exceeded 99\% for all configurations, demonstrating effective knowledge transfer regardless of student model capacity.
• Abstract（参考訳）: 本研究では,資源制約型農業環境に適した軽量CNNモデルを開発するための,ATMS-KD(Adaptive Temperature and Mixed-Sample Knowledge Distillation)を提案する。 このフレームワークは適応的な温度スケジューリングと混合サンプル拡張を組み合わせることで、MobileNetV3の大規模教師モデル(5.7\,Mパラメータ)から軽量の残留CNN学生に知識を伝達する。 Compact (1.3\,Mパラメータ)、Standard (2.4\,Mパラメータ)、Enhanced (3.8\,Mパラメータ)の3つの学生構成が評価された。 本研究で使用したデータセットは,モロッコ南東部ダデスオアシスの農地から採取した<textit{Rosa damascena}(ダマスクバラ)の画像からなり,多様な環境条件下での農業用コンピュータビジョン応用のリアルなベンチマークを提供する。 ダマセナバラ成熟度分類データセットの実験的評価により, 直接訓練法よりも有意な改善が認められた。 全ての学生モデルは、ATMS-KDで96.7\%を超え、直接訓練で95--96\%を達成した。このフレームワークは、確立された11の知識蒸留法を上回り、コンパクトモデルで97.11\%の精度を達成した。第2のベストアプローチよりも1.60ポイント改善し、72.19\,msの最低推論遅延を維持した。 知識保持率は, 学生モデルによらず, 全構成で99 %を超え, 効果的な知識伝達を実証した。

関連論文リスト

• Synthetic Adaptive Guided Embeddings (SAGE): A Novel Knowledge Distillation Method [1.5839621757142595]
  本研究では,高学年モデル損失の地域において,動的にトレーニングデータを増強する適応蒸留フレームワークを提案する。 本手法は, 組込み空間における過小評価領域を同定し, 対象とする合成例を生成し, 学習指導を行う。
  論文  参考訳（メタデータ） (2025-08-20T15:29:00Z)
• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Bayes Conditional Distribution Estimation for Knowledge Distillation Based on Conditional Mutual Information [3.84949625314596]
  我々はベイズ条件付き確率分布(BCPD)の推定に条件付き相互情報(CMI)の概念を導入する。 MCMI推定では、教師のログライクな状態とCMIの両方を同時に最大化する。 その結果、ゼロショットや少数ショットの設定では、学生の精度が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2024-01-16T16:01:37Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• LTD: Low Temperature Distillation for Robust Adversarial Training [1.3300217947936062]
  敵の訓練は、敵の攻撃に対するニューラルネットワークモデルの堅牢性を高めるために広く使用されている。 ニューラルネットワークモデルの人気にもかかわらず、これらのモデルの自然な精度とロバストな精度の間には大きなギャップがある。 改良された知識蒸留フレームワークを用いてソフトラベルを生成する,低温蒸留(LTD)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-03T16:26:00Z)
• End-to-End Semi-Supervised Object Detection with Soft Teacher [63.26266730447914]
  本稿では,従来の複雑な多段階法とは対照的に,終端から終端までの半教師付き物体検出手法を提案する。 提案手法は, 種々のラベル付け比において, 従来手法よりも大きなマージンで性能を向上する。 最先端のSwin Transformerベースの物体検出器では、検出精度を+1.5 mAPで大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T17:59:30Z)
• Extracurricular Learning: Knowledge Transfer Beyond Empirical Distribution [17.996541285382463]
  本稿では,圧縮された学生モデルと教師とのギャップを埋めるために,課外学習を提案する。 回帰と分類のタスクについて厳密な評価を行い、標準的な知識蒸留と比較すると、課外学習はギャップを46%減らして68%減らすことを示した。 これは、最近のニューラルネットワークアーキテクチャに対する経験的リスク最小化に基づくトレーニングと比較して、大幅な精度向上につながる。
  論文  参考訳（メタデータ） (2020-06-30T18:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。