論文の概要: Data-Free Backbone Fine-Tuning for Pruned Neural Networks

• arxiv url: http://arxiv.org/abs/2306.12881v1
• Date: Thu, 22 Jun 2023 13:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 14:26:09.595653
• Title: Data-Free Backbone Fine-Tuning for Pruned Neural Networks
• Title（参考訳）: ニューラルネットワークのためのデータフリーバックボーン微細チューニング
• Authors: Adrian Holzbock, Achyut Hegde, Klaus Dietmayer, and Vasileios Belagiannis
• Abstract要約: 本稿では,深層ニューラルネットワークのバックボーンを刈り取るためのデータフリーな微調整手法を提案する。 特に、刈り取られたネットワークバックボーンは、合成生成された画像で訓練される。 私たちのアプローチはバックボーンのみを刈り取るためタスク非依存です。
• 参考スコア（独自算出の注目度）: 12.471564670462344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression techniques reduce the computational load and memory consumption of deep neural networks. After the compression operation, e.g. parameter pruning, the model is normally fine-tuned on the original training dataset to recover from the performance drop caused by compression. However, the training data is not always available due to privacy issues or other factors. In this work, we present a data-free fine-tuning approach for pruning the backbone of deep neural networks. In particular, the pruned network backbone is trained with synthetically generated images, and our proposed intermediate supervision to mimic the unpruned backbone's output feature map. Afterwards, the pruned backbone can be combined with the original network head to make predictions. We generate synthetic images by back-propagating gradients to noise images while relying on L1-pruning for the backbone pruning. In our experiments, we show that our approach is task-independent due to pruning only the backbone. By evaluating our approach on 2D human pose estimation, object detection, and image classification, we demonstrate promising performance compared to the unpruned model. Our code is available at https://github.com/holzbock/dfbf.
• Abstract（参考訳）: モデル圧縮技術はディープニューラルネットワークの計算負荷とメモリ消費を削減する。 パラメータプルーニングのような圧縮操作の後、モデルは通常、圧縮によるパフォーマンス低下から回復するために、元のトレーニングデータセットに微調整される。 しかし、プライバシの問題やその他の要因のために、トレーニングデータは必ずしも利用できない。 本研究では,深層ニューラルネットワークのバックボーンを刈り取るためのデータフリーな微調整手法を提案する。 特に, 刈り取られたネットワークバックボーンは, 合成画像を用いて訓練され, 提案する中間監督機構は未刈取バックボーンの出力特徴マップを模倣する。 その後、刈り取られたバックボーンを元のネットワークヘッドと組み合わせて予測を行うことができる。 我々は,バックボーンプルーニングにl1プルーニングを頼りながら,ノイズ画像に勾配をバックプロパゲーションすることで合成画像を生成する。 実験では,バックボーンのみを刈り取ることにより,タスクに依存しないアプローチを示した。 2次元人間のポーズ推定,物体検出,画像分類に対するアプローチを評価し,未完成モデルと比較して有望な性能を示す。 私たちのコードはhttps://github.com/holzbock/dfbfで利用可能です。

関連論文リスト

• Efficient Model Compression for Bayesian Neural Networks [4.179545514579061]
  本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
  論文  参考訳（メタデータ） (2024-11-01T00:07:59Z)
• Unified Data-Free Compression: Pruning and Quantization without Fine-Tuning [12.982673904306633]
  我々は,データや微調整処理を伴わずに,プルーニングと量子化を同時に行う,Unified Data-Free Compression (UDFC) という新しいフレームワークを提案する。 大規模画像分類タスクにおいてUDFCを評価し,様々なネットワークアーキテクチャや圧縮手法に対して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-08-14T15:25:07Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
  プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。 重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
  論文  参考訳（メタデータ） (2022-03-04T19:54:31Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
  本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。 これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
  論文  参考訳（メタデータ） (2020-08-19T08:03:09Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。