論文の概要: Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification

• arxiv url: http://arxiv.org/abs/2411.00209v1
• Date: Thu, 31 Oct 2024 21:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:51.416190
• Title: Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification
• Title（参考訳）: 衛星地球観測画像分類のための意味的知識蒸留
• Authors: Thanh-Dung Le, Vu Nguyen Ha, Ti Ti Nguyen, Geoffrey Eappen, Prabhu Thiruvasagam, Hong-fu Chou, Duc-Dung Tran, Luis M. Garces-Socarras, Jorge L. Gonzalez-Rios, Juan Carlos Merlano-Duncan, Symeon Chatzinotas,
• Abstract要約: 本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 我々のフレームワークは,信頼性の高い分類作業に必要な厳密な信頼しきい値に固執することにより,軽量な学生モデルの精度,精度,リコールを90%以上越えることを可能にする。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。
• 参考スコア（独自算出の注目度）: 28.08042498882207
• License:
• Abstract: This study presents an innovative dynamic weighting knowledge distillation (KD) framework tailored for efficient Earth observation (EO) image classification (IC) in resource-constrained settings. Utilizing EfficientViT and MobileViT as teacher models, this framework enables lightweight student models, particularly ResNet8 and ResNet16, to surpass 90% in accuracy, precision, and recall, adhering to the stringent confidence thresholds necessary for reliable classification tasks. Unlike conventional KD methods that rely on static weight distribution, our adaptive weighting mechanism responds to each teacher model's confidence, allowing student models to prioritize more credible sources of knowledge dynamically. Remarkably, ResNet8 delivers substantial efficiency gains, achieving a 97.5% reduction in parameters, a 96.7% decrease in FLOPs, an 86.2% cut in power consumption, and a 63.5% increase in inference speed over MobileViT. This significant optimization of complexity and resource demands establishes ResNet8 as an optimal candidate for EO tasks, combining robust performance with feasibility in deployment. The confidence-based, adaptable KD approach underscores the potential of dynamic distillation strategies to yield high-performing, resource-efficient models tailored for satellite-based EO applications. The reproducible code is accessible on our GitHub repository.
• Abstract（参考訳）: 本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 EfficientViTとMobileViTを教師モデルとして利用することにより、軽量の学生モデル、特にResNet8とResNet16は、信頼性の高い分類タスクに必要な厳密な信頼しきい値に固執し、精度、精度、リコールの90%を超えることができる。 静的重み分布に依存する従来のKD法とは異なり、適応重み付け機構は各教師モデルの信頼性に反応し、学生モデルはより信頼性の高い知識源を動的に優先順位付けすることができる。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。 この複雑さとリソース要求の大幅な最適化は、EOタスクの最適候補としてResNet8を確立し、ロバストなパフォーマンスとデプロイメントの可能性を組み合わせたものだ。 信頼性に基づく適応可能なKDアプローチは、衛星ベースのEO用途に適した高性能で資源効率の高いモデルを得るための動的蒸留戦略の可能性を示している。 再現可能なコードはGitHubリポジトリからアクセスできます。

関連論文リスト

• GKT: A Novel Guidance-Based Knowledge Transfer Framework For Efficient Cloud-edge Collaboration LLM Deployment [74.40196814292426]
  本稿では,新規かつ直感的なガイダンスベース知識伝達(GKT)フレームワークを提案する。 GKTは'teacher'として大きな言語モデルを使用し、ガイダンスプロンプトを生成し、より小さな'student'モデルと組み合わせて応答を確定する。 GSM8Kの最大精度は14.18%、GSM8Kの10.72倍、精度は14.00%、CSQAの7.73倍である。
  論文  参考訳（メタデータ） (2024-05-30T02:37:35Z)
• Enhancing Ship Classification in Optical Satellite Imagery: Integrating Convolutional Block Attention Module with ResNet for Improved Performance [1.4659076103416173]
  光衛星画像に基づく船舶分類のための高度な畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 最初に標準CBAMを導入し、より情報的な特徴に焦点を向け、87%の精度でモデルに焦点をあてた。 このモデルでは95%の精度を示し、精度、リコール、F1は様々な船級で大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-04-02T17:48:46Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Towards a Smaller Student: Capacity Dynamic Distillation for Efficient Image Retrieval [49.01637233471453]
  従来の知識蒸留に基づく効率的な画像検索手法は,高速推論のための学生モデルとして軽量なネットワークを用いる。 本稿では,編集可能な表現能力を持つ学生モデルを構築するための容量動的蒸留フレームワークを提案する。 提案手法は,教師としてのResNet101を前提として,VeRi-776データセットなどの推論速度と精度が優れている。
  論文  参考訳（メタデータ） (2023-03-16T11:09:22Z)
• Estimating and Maximizing Mutual Information for Knowledge Distillation [24.254198219979667]
  相互情報最大化知識蒸留(MIMKD)を提案する。 提案手法は,教師と学生ネットワーク間の局所的特徴表現とグローバル的特徴表現の相互情報に対する低境界を同時に推定し,最大化するために,対照的な目的を用いる。 これは、より高性能だが計算コストの高いモデルから知識を伝達することで、低容量モデルの性能を向上させるために使用できる。
  論文  参考訳（メタデータ） (2021-10-29T17:49:56Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks [13.041607703862724]
  ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。 ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
  論文  参考訳（メタデータ） (2020-08-16T22:14:48Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。