論文の概要: DAC-Loop: Distillation-Aware Compression for Remote Sensing CNN

• arxiv url: http://arxiv.org/abs/2610.35175v1
• Date: Mon, 26 Oct 2026 10:38:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.830188
• Title: DAC-Loop: Distillation-Aware Compression for Remote Sensing CNN
• Title（参考訳）: DAC-Loop:リモートセンシングCNNのための蒸留対応圧縮
• Abstract要約: コンパクトCNNバックボーンは多くの現実世界設定において実用的な選択である。 そこで本研究では,知識蒸留モデルの精度を高く保ちながら圧縮できるモデルを提案する。 EuroSATとNWPU-RESISC45全体で、DAC-Loopは一貫して精度と圧縮のトレードオフを改善している。
• 参考スコア（独自算出の注目度）: 7.687988999964667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large-scale models achieve strong results in remote sensing scene classification, deploying them on edge devices remains difficult due to limited compute, memory, and energy budgets. Compact CNN backbones are therefore a practical choice in many real-world settings, offering efficient inference with well-optimized implementations on embedded hardware. To push this efficiency further, we investigate how far a knowledge-distilled student model can be compressed while preserving high accuracy. We propose a Distillation-Aware Compression Loop (DAC-Loop) that integrates (i) knowledge distillation applied both before and after structured channel pruning, and (ii) an iterative compression schedule that alternates structured pruning with unstructured sparsification. Across EuroSAT and NWPU-RESISC45, the DAC-Loop consistently improves the accuracy-compression trade-off relative to standard one-shot pruning and single-stage KD recovery, maintaining strong accuracy even beyond 90% parameter reduction. These results demonstrate that combining distillation and pruning in a unified iterative loop offers an effective path toward compact remote sensing models.
• Abstract（参考訳）: 大規模モデルはリモートセンシングシーンの分類において強力な結果をもたらすが、コンピュータ、メモリ、エネルギーの予算が限られているため、エッジデバイスにそれらをデプロイすることは依然として困難である。 したがって、コンパクトなCNNバックボーンは多くの実世界の設定において実用的な選択であり、組込みハードウェア上で最適化された実装による効率的な推論を提供する。 この効率をさらに推し進めるために,知識蒸留モデルの精度を高く保ちながら,学生モデルをどの程度圧縮できるかを検討する。 統合された蒸留対応圧縮ループ(DAC-Loop)を提案する。 一 構造化流路刈りの前後の知識蒸留、及び (II)非構造的スパシフィケーションと構造的プルーニングを交互に行う反復圧縮スケジュール。 EuroSAT と NWPU-RESISC45 全体では、DAC-Loop は標準のワンショットプルーニングとシングルステージKDリカバリと比較して、精度と圧縮のトレードオフを一貫して改善し、90% のパラメータ削減さえも高い精度を維持している。 これらの結果は, 蒸留とプルーニングを一体化した反復ループで組み合わせることで, コンパクトなリモートセンシングモデルへの有効な経路が示される。

関連論文リスト

• End-to-End Image Compression with Segmentation Guided Dual Coding for Wind Turbines [18.228491632517024]
  本稿では,セグメント化と二重モード圧縮を共同で行うエンドツーエンドのディープラーニングフレームワークを提案する。 大規模な風力タービンデータセットの実験は、優れた圧縮性能と効率を示す。
  論文  参考訳（メタデータ） (2026-03-31T16:01:23Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Punching Above Precision: Small Quantized Model Distillation with Learnable Regularizer [9.85847764731154]
  Game of Regularizer (GoR) は、タスク固有性(TS)と蒸留損失を適応的にバランスをとる学習可能な正規化手法である。 GoRは、最先端のQAT-KD法を低消費電力エッジデバイスで一貫して上回っている。 また,多種多様な教師モデルを用いたアンサンブル蒸留フレームワークQAT-EKD-GoRについても紹介する。
  論文  参考訳（メタデータ） (2025-09-25T07:43:13Z)
• Dataset Distillation as Data Compression: A Rate-Utility Perspective [31.050187201929557]
  そこで本研究では,データセット蒸留における共同レート・ユーティリティ最適化手法を提案する。 超軽量ネットワークでデコードされた最適潜在符号として合成サンプルをパラメータ化する。 我々は、量子化潜水剤のシャノンエントロピーをレート尺度として推定し、既存の蒸留損失を実用指標としてプラグし、ラグランジュ乗算器で引き離す。
  論文  参考訳（メタデータ） (2025-07-23T05:40:52Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。