論文の概要: SPARK: Spatial Policy-driven Adaptive Reinforcement learning for Knowledge distillation

• arxiv url: http://arxiv.org/abs/2606.15243v1
• Date: Sat, 13 Jun 2026 10:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.149014
• Title: SPARK: Spatial Policy-driven Adaptive Reinforcement learning for Knowledge distillation
• Title（参考訳）: SPARK:知識蒸留のための空間政策駆動型適応強化学習
• Authors: Mohamed Jismy Aashik Rasool, Shabir Ahmad, Gisong Oh, Teag Kuen Whangbo,
• Abstract要約: 低ビット量子化は、エッジや細かいテクスチャといった高周波領域を不均等に劣化させるラウンドリングノイズをもたらす。 本稿では,軽量強化学習(RL)政策ネットワークを用いて蒸留を適応的に割り当てるフレームワークであるSPARKを提案する。 ベンチマークデータセットの実験では、SPARKがPTQ、QAT、最先端KDアプローチを一貫して上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 0.4083182125683813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-bit quantization enables deployment of image restoration (IR) networks on resource-constrained devices, but introduces rounding noise that disproportionately degrades high-frequency regions such as edges and fine textures. Existing knowledge distillation (KD) methods apply distillation signals uniformly across all spatial locations, overlooking the varying reconstruction difficulty across image regions. To address this, we propose SPARK (Spatial Policy-driven Adaptive Reinforcement Learning for Knowledge Distillation), a framework that adaptively allocates distillation effort using a lightweight reinforcement learning (RL) policy network. At each training step, a difficulty feature extractor computes four signals, namely Laplacian variance, pixel variance, student reconstruction error, and teacher-student knowledge gap, which are fed into a compact policy CNN that produces a stochastic spatial weight map to modulate the KD loss during quantization-aware training (QAT). SPARK is IR task-agnostic, adds no inference cost, and integrates into any existing QAT pipeline without architectural changes. Experiments on benchmark datasets demonstrate that SPARK consistently outperforms PTQ, QAT, and state-of-the-art (SOTA) KD approaches across multiple student architectures, achieving reconstruction quality closest to the full-precision teacher under significant computational constraints.
• Abstract（参考訳）: 低ビット量子化は、リソース制約のあるデバイスに画像復元(IR)ネットワークを配置することを可能にするが、エッジや細かいテクスチャなどの高周波領域を不均等に劣化させるラウンドリングノイズを導入する。 既存の知識蒸留法(KD)は、画像領域の様々な再構成困難を見越して、すべての空間的な場所にわたって蒸留信号を均一に適用する。 そこで本稿では,SPARK(Spatial Policy-driven Adaptive Reinforcement Learning for Knowledge Distillation)を提案する。 各訓練ステップにおいて、困難特徴抽出器は、量子化認識訓練(QAT)中にKD損失を変調する確率的空間重みマップを生成するコンパクトポリシCNNに入力されるラプラシアン分散、画素分散、学生再構成誤差、教師学習知識ギャップの4つの信号を演算する。 SPARKはIRタスクに依存しず、推論コストを追加せず、アーキテクチャの変更なしに既存のQATパイプラインに統合される。 ベンチマークデータセットの実験により、SPARKはPTQ、QAT、および最先端(SOTA)のKDアプローチを複数の学生アーキテクチャで一貫して上回り、大幅な計算制約の下で完全精度の教師に最も近い再現品質を達成することを示した。

関連論文リスト

• Improved Knowledge Distillation for Land-Use Image Classification [1.3999481573773072]
  VGG16ネットワークが知識を軽量なMobileNetV2モデルに転送する学習パラダイムが採用されている。 3つの土地利用データセットで行った実験では、提案手法により性能が向上し、99.04%の精度が得られた。
  論文  参考訳（メタデータ） (2026-06-12T18:47:12Z)
• Integrating Knowledge Distillation Methods: A Sequential Multi-Stage Framework [9.843982061024516]
  異種KD手法を逐次統合するフレキシブルフレームワークであるSMSKD(Sequential Multi Stage Knowledge Distillation)を提案する。 各段階において、学生は特定の蒸留法で訓練され、前の段階からの凍結参照モデルは、忘れることを学ぶための知識をアンカーする。
  論文  参考訳（メタデータ） (2026-01-22T05:13:12Z)
• Teacher-Guided One-Shot Pruning via Context-Aware Knowledge Distillation [7.870062030206608]
  非構造化プルーニングは、ディープニューラルネットワークを圧縮するための強力な戦略である。 本稿では,KD(Knowledge Distillation)と重要スコア推定を密に統合した,教師指導型プルーニングフレームワークを提案する。 本手法は,本態的な表現を保ちながら,冗長な重みを効率的に除去するワンショットグローバルプルーニング戦略を促進する。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Feedback Alignment Meets Low-Rank Manifolds: A Structured Recipe for Local Learning [7.034739490820967]
  バックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、最先端の精度を実現するが、大域的なエラー伝搬と完全なパラメータ化が必要である。 ダイレクトフィードバックアライメント(DFA)は、メモリ要件の低いローカルで並列化可能な更新を可能にする。 低ランク多様体上で直接動作する構造化局所学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-29T15:03:46Z)
• Punching Above Precision: Small Quantized Model Distillation with Learnable Regularizer [9.85847764731154]
  Game of Regularizer (GoR) は、タスク固有性(TS)と蒸留損失を適応的にバランスをとる学習可能な正規化手法である。 GoRは、最先端のQAT-KD法を低消費電力エッジデバイスで一貫して上回っている。 また,多種多様な教師モデルを用いたアンサンブル蒸留フレームワークQAT-EKD-GoRについても紹介する。
  論文  参考訳（メタデータ） (2025-09-25T07:43:13Z)
• Large-Scale Model Enabled Semantic Communication Based on Robust Knowledge Distillation [45.347078403677216]
  大規模モデル(LSM)は意味表現と理解に有効なフレームワークである。 しかしながら、それらの直接的なデプロイメントは、しばしば高い計算複雑性とリソース要求によって妨げられる。 本稿では,新しい知識蒸留に基づくセマンティックコミュニケーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-04T07:47:18Z)
• You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment [45.62136459502005]
  本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。 まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。 FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。 エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-14T11:03:04Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
  アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。 このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
  論文  参考訳（メタデータ） (2021-12-17T14:31:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。