Fugu-MT 論文翻訳(概要): Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation

論文の概要: Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation

arxiv url: http://arxiv.org/abs/2511.20702v1
Date: Mon, 24 Nov 2025 18:27:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-27 18:37:58.768952
Title: Post-Pruning Accuracy Recovery via Data-Free Knowledge Distillation
Title（参考訳）: データフリー知識蒸留による運転後精度回復
Authors: Chinmay Tripurwar, Utkarsh Maurya, Dishant,
Abstract要約: 医療や金融といったプライバシに敏感なドメインでは、オリジナルのトレーニングデータへのアクセスは、規制によりデプロイ後に制限されることが多い。本稿では,モデル圧縮とデータプライバシのギャップを埋めるために,データ自由知識蒸留フレームワークを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Model pruning is a widely adopted technique to reduce the computational complexity and memory footprint of Deep Neural Networks (DNNs). However, global unstructured pruning often leads to significant degradation in accuracy, typically necessitating fine-tuning on the original training dataset to recover performance. In privacy-sensitive domains such as healthcare or finance, access to the original training data is often restricted post-deployment due to regulations (e.g., GDPR, HIPAA). This paper proposes a Data-Free Knowledge Distillation framework to bridge the gap between model compression and data privacy. We utilize DeepInversion to synthesize privacy-preserving ``dream'' images from the pre-trained teacher model by inverting Batch Normalization (BN) statistics. These synthetic images serve as a transfer set to distill knowledge from the original teacher to the pruned student network. Experimental results on CIFAR-10 across various architectures (ResNet, MobileNet, VGG) demonstrate that our method significantly recovers accuracy lost during pruning without accessing a single real data point.
Abstract（参考訳）: モデルプルーニングは、ディープニューラルネットワーク(DNN)の計算複雑性とメモリフットプリントを低減するために広く採用されている手法である。しかし、グローバルな非構造化プルーニングは、しばしば精度を著しく低下させ、通常、パフォーマンスを回復するために元のトレーニングデータセットを微調整する必要がある。医療や金融などのプライバシーに敏感なドメインでは、規制(GDPR、HIPAAなど)により、元のトレーニングデータへのアクセスは、デプロイ後に制限されることが多い。本稿では,モデル圧縮とデータプライバシのギャップを埋めるために,データ自由知識蒸留フレームワークを提案する。我々はDeepInversionを利用して、Batch Normalization (BN)統計を反転させることで、事前学習した教師モデルからプライバシー保護の ``dream'' 画像を合成する。これらの合成画像は、元の教師から刈り取られた学生ネットワークへの知識を抽出するための転送セットとして機能する。各種アーキテクチャ(ResNet, MobileNet, VGG)にまたがるCIFAR-10の実験結果から, 1つの実データポイントにアクセスすることなく, 刈り取り時に失われる精度を著しく回復することを示した。

関連論文リスト

Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文参考訳（メタデータ） (2025-10-23T07:12:26Z)
ReCIT: Reconstructing Full Private Data from Gradient in Parameter-Efficient Fine-Tuning of Large Language Models [45.10098466182961]
ReCITは、PEFTグラデーションから高忠実度でEmphfullプライベートデータのリカバリを実現する、新たなプライバシ攻撃である。それは、異なるPEFTパラダイムにわたる最先端の記憶と反転ベースの攻撃を一貫して上回る。
論文参考訳（メタデータ） (2025-04-29T09:23:19Z)
Re-Visible Dual-Domain Self-Supervised Deep Unfolding Network for MRI Reconstruction [48.30341580103962]
本稿では、これらの問題に対処するために、新しい再視覚的二重ドメイン自己教師型深層展開ネットワークを提案する。エンド・ツー・エンドの再構築を実現するために,シャンブルとポック・プロキシ・ポイント・アルゴリズム(DUN-CP-PPA)に基づく深層展開ネットワークを設計する。高速MRIおよびIXIデータセットを用いて行った実験により,本手法は再建性能において最先端の手法よりも有意に優れていることが示された。
論文参考訳（メタデータ） (2025-01-07T12:29:32Z)
One-shot Federated Learning via Synthetic Distiller-Distillate Communication [63.89557765137003]
One-shot Federated Learning (FL)は、単一のコミュニケーションで機械学習モデルの協調トレーニングを促進する強力な技術である。我々はこれらの課題に対処するために,新しい,実用的なワンショットFLフレームワークであるFedSD2Cを提案する。
論文参考訳（メタデータ） (2024-12-06T17:05:34Z)
GI-NAS: Boosting Gradient Inversion Attacks Through Adaptive Neural Architecture Search [52.27057178618773]
グラディエント・インバージョン・アタック (Gradient Inversion Attacks) は、Federated Learning (FL) システムの伝達勾配を反転させ、ローカルクライアントの機密データを再構築する。勾配反転法の大半は明示的な事前知識に大きく依存しており、現実的なシナリオでは利用できないことが多い。本稿では,ニューラルネットワークを適応的に探索し,ニューラルネットワークの背後にある暗黙の先行情報をキャプチャするニューラルアーキテクチャ探索(GI-NAS)を提案する。
論文参考訳（メタデータ） (2024-05-31T09:29:43Z)
Distilling the Knowledge in Data Pruning [4.720247265804016]
刈り込みサブセットのトレーニングにおいて,知識蒸留(KD)を取り入れたデータ刈り込みの適用について検討する。我々は、データセット、プルーニング方法、および全てのプルーニング率において、大幅な改善を示す。興味をそそる観察を行ない、より低いプルーニング率を使用すると、より大きな教師が精度を低下させ、驚くべきことに、学生よりも少ない能力の教師を雇うことで、結果が改善する可能性がある。
論文参考訳（メタデータ） (2024-03-12T17:44:45Z)
Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文参考訳（メタデータ） (2023-08-21T07:24:29Z)
Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning [12.982673904306633]
我々は,データや微調整処理を伴わずに,プルーニングと量子化を同時に行う,Unified Data-Free Compression (UDFC) という新しいフレームワークを提案する。大規模画像分類タスクにおいてUDFCを評価し,様々なネットワークアーキテクチャや圧縮手法に対して大幅な改善が得られた。
論文参考訳（メタデータ） (2023-08-14T15:25:07Z)
Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文参考訳（メタデータ） (2022-07-22T17:30:51Z)
Robust and Resource-Efficient Data-Free Knowledge Distillation by Generative Pseudo Replay [5.3330804968579795]
データ自由知識蒸留(Data-Free Knowledge Distillation, KD)は、トレーニングされたニューラルネットワーク(教師)から、元のトレーニングデータがない場合にはよりコンパクトなニューラルネットワーク(学生)への知識伝達を可能にする。既存の作業では、実際のデータよりも生徒の精度を監視し、プロセス全体を通して最高のパフォーマンスを報告するための検証セットが使用されている。しかし、蒸留時にも検証データが入手できないため、ピーク精度を達成した生徒のスナップショットを記録することは不可能である。これは、学生が合成データの分布シフトによって知識劣化を経験するからである。これまでに観測された合成試料の分布をモデル化する。
論文参考訳（メタデータ） (2022-01-09T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。