論文の概要: Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification

• arxiv url: http://arxiv.org/abs/2411.00209v1
• Date: Thu, 31 Oct 2024 21:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:43.109857
• Title: Semantic Knowledge Distillation for Onboard Satellite Earth Observation Image Classification
• Title（参考訳）: 衛星地球観測画像分類のための意味的知識蒸留
• Authors: Thanh-Dung Le, Vu Nguyen Ha, Ti Ti Nguyen, Geoffrey Eappen, Prabhu Thiruvasagam, Hong-fu Chou, Duc-Dung Tran, Luis M. Garces-Socarras, Jorge L. Gonzalez-Rios, Juan Carlos Merlano-Duncan, Symeon Chatzinotas,
• Abstract要約: 本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 我々のフレームワークは,信頼性の高い分類作業に必要な厳密な信頼しきい値に固執することにより,軽量な学生モデルの精度,精度,リコールを90%以上越えることを可能にする。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。
• 参考スコア（独自算出の注目度）: 28.08042498882207
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This study presents an innovative dynamic weighting knowledge distillation (KD) framework tailored for efficient Earth observation (EO) image classification (IC) in resource-constrained settings. Utilizing EfficientViT and MobileViT as teacher models, this framework enables lightweight student models, particularly ResNet8 and ResNet16, to surpass 90% in accuracy, precision, and recall, adhering to the stringent confidence thresholds necessary for reliable classification tasks. Unlike conventional KD methods that rely on static weight distribution, our adaptive weighting mechanism responds to each teacher model's confidence, allowing student models to prioritize more credible sources of knowledge dynamically. Remarkably, ResNet8 delivers substantial efficiency gains, achieving a 97.5% reduction in parameters, a 96.7% decrease in FLOPs, an 86.2% cut in power consumption, and a 63.5% increase in inference speed over MobileViT. This significant optimization of complexity and resource demands establishes ResNet8 as an optimal candidate for EO tasks, combining robust performance with feasibility in deployment. The confidence-based, adaptable KD approach underscores the potential of dynamic distillation strategies to yield high-performing, resource-efficient models tailored for satellite-based EO applications. The reproducible code is accessible on our GitHub repository.
• Abstract（参考訳）: 本研究では,資源制約条件下での効率的な地球観測(EO)画像分類(IC)に適した動的加重知識蒸留(KD)フレームワークを提案する。 EfficientViTとMobileViTを教師モデルとして利用することにより、軽量の学生モデル、特にResNet8とResNet16は、信頼性の高い分類タスクに必要な厳密な信頼しきい値に固執し、精度、精度、リコールの90%を超えることができる。 静的重み分布に依存する従来のKD法とは異なり、適応重み付け機構は各教師モデルの信頼性に反応し、学生モデルはより信頼性の高い知識源を動的に優先順位付けすることができる。 ResNet8は97.5%のパラメータの削減、96.7%のFLOPの削減、86.2%の消費電力削減、63.5%のMobileViTの推論速度向上など、大幅な効率向上を実現している。 この複雑さとリソース要求の大幅な最適化は、EOタスクの最適候補としてResNet8を確立し、ロバストなパフォーマンスとデプロイメントの可能性を組み合わせたものだ。 信頼性に基づく適応可能なKDアプローチは、衛星ベースのEO用途に適した高性能で資源効率の高いモデルを得るための動的蒸留戦略の可能性を示している。 再現可能なコードはGitHubリポジトリからアクセスできます。

関連論文リスト

• Knowledge Distillation: Enhancing Neural Network Compression with Integrated Gradients [0.0]
  本稿では,知識蒸留(KD)と統合勾配(IG)を併用した機械学習フレームワークを提案する。 本稿では,教師モデルから事前計算されたIGマップを訓練画像上にオーバーレイして,コンパクトな学生モデルを重要な特徴表現へ導く,新たなデータ拡張戦略を提案する。 CIFAR-10の実験は,本手法の有効性を実証している: MobileNet-V2 教師の4.1倍圧縮した学生モデルでは,標準の 91.4% と従来の KD アプローチを上回り,分類精度92.5% を達成し,推論遅延を 140 ms から 13 ms-a 10fold に低減した。
  論文  参考訳（メタデータ） (2025-03-17T10:07:50Z)
• Meta-Computing Enhanced Federated Learning in IIoT: Satisfaction-Aware Incentive Scheme via DRL-Based Stackelberg Game [50.6166553799783]
  効率的なIIoT操作は、モデル品質とトレーニング遅延の間のトレードオフを必要とする。 本稿では,データサイズ,情報時代(AoI),メタコンピューティングのトレーニング遅延を考慮した満足度関数を設計する。 我々は、スタックルバーグ均衡を学ぶために、深い強化学習アプローチを採用する。
  論文  参考訳（メタデータ） (2025-02-10T03:33:36Z)
• INTACT: Inducing Noise Tolerance through Adversarial Curriculum Training for LiDAR-based Safety-Critical Perception and Autonomy [0.4124847249415279]
  本稿では、雑音の多いLiDARデータに対するディープニューラルネットワーク(DNN)の堅牢性を高めるために設計された新しいフレームワークを提案する。 IntACTは、メタラーニングと、敵対的なカリキュラムトレーニング(ACT)を組み合わせることで、3Dポイントクラウドにおけるデータの破損とスパーシリティによる課題に対処する。 IntACTの有効性は、オブジェクトの検出、追跡、分類ベンチマークに関する包括的な評価を通じて実証される。
  論文  参考訳（メタデータ） (2025-02-04T00:02:16Z)
• Efficient Multi-Task Inferencing with a Shared Backbone and Lightweight Task-Specific Adapters for Automatic Scoring [1.2556373621040728]
  本稿では,タスク固有の微調整のための軽量なLoRAアダプタにより拡張された共有バックボーンモデルアーキテクチャを提案する。 相互排他的タスク27の学生回答の自動スコアリングを目標としている。
  論文  参考訳（メタデータ） (2024-12-30T16:34:11Z)
• Self-Data Distillation for Recovering Quality in Pruned Large Language Models [1.5665059604715017]
  ワンショットプルーニングは、特に多段階推論を必要とするタスクにおいて、大幅な品質劣化をもたらす。 品質の低下を回復するために、教師付き微調整(SFT)が一般的に用いられるが、これは破滅的な忘れを招きかねない。 本研究では,これらの課題に対処するために,自己データ蒸留ファインチューニングを利用する。
  論文  参考訳（メタデータ） (2024-10-13T19:53:40Z)
• GKT: A Novel Guidance-Based Knowledge Transfer Framework For Efficient Cloud-edge Collaboration LLM Deployment [74.40196814292426]
  本稿では,新規かつ直感的なガイダンスベース知識伝達(GKT)フレームワークを提案する。 GKTは'teacher'として大きな言語モデルを使用し、ガイダンスプロンプトを生成し、より小さな'student'モデルと組み合わせて応答を確定する。 GSM8Kの最大精度は14.18%、GSM8Kの10.72倍、精度は14.00%、CSQAの7.73倍である。
  論文  参考訳（メタデータ） (2024-05-30T02:37:35Z)
• Enhancing Ship Classification in Optical Satellite Imagery: Integrating Convolutional Block Attention Module with ResNet for Improved Performance [1.4659076103416173]
  光衛星画像に基づく船舶分類のための高度な畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 最初に標準CBAMを導入し、より情報的な特徴に焦点を向け、87%の精度でモデルに焦点をあてた。 このモデルでは95%の精度を示し、精度、リコール、F1は様々な船級で大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-04-02T17:48:46Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Towards a Smaller Student: Capacity Dynamic Distillation for Efficient Image Retrieval [49.01637233471453]
  従来の知識蒸留に基づく効率的な画像検索手法は,高速推論のための学生モデルとして軽量なネットワークを用いる。 本稿では,編集可能な表現能力を持つ学生モデルを構築するための容量動的蒸留フレームワークを提案する。 提案手法は,教師としてのResNet101を前提として,VeRi-776データセットなどの推論速度と精度が優れている。
  論文  参考訳（メタデータ） (2023-03-16T11:09:22Z)
• Estimating and Maximizing Mutual Information for Knowledge Distillation [24.254198219979667]
  相互情報最大化知識蒸留(MIMKD)を提案する。 提案手法は,教師と学生ネットワーク間の局所的特徴表現とグローバル的特徴表現の相互情報に対する低境界を同時に推定し,最大化するために,対照的な目的を用いる。 これは、より高性能だが計算コストの高いモデルから知識を伝達することで、低容量モデルの性能を向上させるために使用できる。
  論文  参考訳（メタデータ） (2021-10-29T17:49:56Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Adversarial Concurrent Training: Optimizing Robustness and Accuracy Trade-off of Deep Neural Networks [13.041607703862724]
  ミニマックスゲームにおいて,自然モデルと連動して頑健なモデルを訓練するための適応的並行訓練(ACT)を提案する。 ACTは標準精度68.20%、目標外攻撃で44.29%のロバスト性を達成している。
  論文  参考訳（メタデータ） (2020-08-16T22:14:48Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。