論文の概要: Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2204.00783v1
• Date: Sat, 2 Apr 2022 07:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 17:04:38.697949
• Title: Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning
• Title（参考訳）: Paoding: ロバスト性保存型データフリーニューラルネットワークプルーニング
• Authors: Mark Huasong Meng, Guangdong Bai, Sin Gee Teo, Jin Song Dong
• Abstract要約: エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
• 参考スコア（独自算出の注目度）: 3.6953655494795776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When deploying pre-trained neural network models in real-world applications, model consumers often encounter resource-constraint platforms such as mobile and smart devices. They typically use the pruning technique to reduce the size and complexity of the model, generating a lighter one with less resource consumption. Nonetheless, most existing pruning methods are proposed with a premise that the model after being pruned has a chance to be fine-tuned or even retrained based on the original training data. This may be unrealistic in practice, as the data controllers are often reluctant to provide their model consumers with the original data. In this work, we study the neural network pruning in the \emph{data-free} context, aiming to yield lightweight models that are not only accurate in prediction but also robust against undesired inputs in open-world deployments. Considering the absence of the fine-tuning and retraining that can fix the mis-pruned units, we replace the traditional aggressive one-shot strategy with a conservative one that treats the pruning as a progressive process. We propose a pruning method based on stochastic optimization that uses robustness-related metrics to guide the pruning process. Our method is implemented as a Python package named \textsc{Paoding} and evaluated with a series of experiments on diverse neural network models. The experimental results show that it significantly outperforms existing one-shot data-free pruning approaches in terms of robustness preservation and accuracy.
• Abstract（参考訳）: トレーニング済みニューラルネットワークモデルを現実世界のアプリケーションにデプロイする場合、モデルコンシューマは、モバイルやスマートデバイスといったリソース制約のプラットフォームに遭遇することが多い。 彼らは通常、プルーニング技術を使ってモデルのサイズと複雑さを減らし、リソース消費の少ないより軽いものを生成する。 それにもかかわらず、既存のプルーニング手法のほとんどは、プルーニング後のモデルが元のトレーニングデータに基づいて微調整されるか、あるいは再訓練される可能性があるという前提で提案されている。 データコントローラはモデルコンシューマに元のデータを提供するのを嫌がることが多いため、実際には非現実的かもしれない。 本研究では,予測の正確さだけでなく,オープンワールド展開における望ましくない入力に対して堅牢な軽量モデルを実現することを目的とした,‘emph{data-free}コンテキストにおけるニューラルネットワークプルーニングについて検討する。 ミスプレイングされたユニットを修正できる微調整と再訓練の欠如を考えると、従来の攻撃的なワンショット戦略をプログレッシブなプロセスとして扱う保守的な戦略に置き換える。 本研究では, 確率的最適化に基づくプルーニング手法を提案し, プルーニング過程の導出にロバストネス関連の指標を用いる。 この手法は \textsc{paoding} と呼ばれるpythonパッケージとして実装され、様々なニューラルネットワークモデルに関する一連の実験によって評価される。 実験の結果、ロバスト性保存と精度の面では、既存のワンショットデータフリープルーニングアプローチを大きく上回っていることがわかった。

関連論文リスト

• Efficient Model Compression for Bayesian Neural Networks [4.179545514579061]
  本研究では,ベイズモデル選択の原理を深層学習設定でエミュレートするための新しい戦略を示す。 シミュレーションおよび実世界のベンチマークデータのホスト上でのプルーニングと特徴選択にこれらの確率を用いる。
  論文  参考訳（メタデータ） (2024-11-01T00:07:59Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• PAODING: A High-fidelity Data-free Pruning Toolkit for Debloating Pre-trained Neural Networks [11.600305034972996]
  PAOdingは、データフリープルーニングのレンズを通じて、トレーニング済みのニューラルネットワークモデルを肥大化させるツールキットである。 モデルのサイズを大幅に削減し、異なるデータセットやモデルで一般化することができる。 また、テスト精度と対向ロバスト性の観点からモデルの忠実性を保持することもできる。
  論文  参考訳（メタデータ） (2024-04-30T07:24:41Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
  FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。 メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。 2.61%の精度向上を実現し、計算コストを95.91%削減した。
  論文  参考訳（メタデータ） (2022-12-05T01:58:45Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models [11.917949887615567]
  本研究では,DeepBayes推定器を提案する。 ディープリカレントニューラルネットワークアーキテクチャはオフラインでトレーニングでき、推論中にかなりの時間を節約できる。 提案手法の異なる実例モデルへの適用性を実証し, 最先端手法との詳細な比較を行う。
  論文  参考訳（メタデータ） (2022-05-04T18:12:17Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
  ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
  論文  参考訳（メタデータ） (2021-03-04T13:22:16Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。