論文の概要: Practical Network Acceleration with Tiny Sets: Hypothesis, Theory, and Algorithm

• arxiv url: http://arxiv.org/abs/2303.00972v1
• Date: Thu, 2 Mar 2023 05:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 16:01:28.845281
• Title: Practical Network Acceleration with Tiny Sets: Hypothesis, Theory, and Algorithm
• Title（参考訳）: 小さな集合による実用的なネットワーク・アクセラレーション:仮説、理論、アルゴリズム
• Authors: Guo-Hua Wang, Jianxin Wu
• Abstract要約: そこで本研究では,小さなトレーニングセットのみを用いてネットワークを高速化するアルゴリズムを提案する。 22%のレイテンシ削減のために、ImageNet-1kでは、平均7パーセントのポイントで、従来の方法を上回っている。
• 参考スコア（独自算出の注目度）: 38.742142493108744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to data privacy issues, accelerating networks with tiny training sets has become a critical need in practice. Previous methods achieved promising results empirically by filter-level pruning. In this paper, we both study this problem theoretically and propose an effective algorithm aligning well with our theoretical results. First, we propose the finetune convexity hypothesis to explain why recent few-shot compression algorithms do not suffer from overfitting problems. Based on it, a theory is further established to explain these methods for the first time. Compared to naively finetuning a pruned network, feature mimicking is proved to achieve a lower variance of parameters and hence enjoys easier optimization. With our theoretical conclusions, we claim dropping blocks is a fundamentally superior few-shot compression scheme in terms of more convex optimization and a higher acceleration ratio. To choose which blocks to drop, we propose a new metric, recoverability, to effectively measure the difficulty of recovering the compressed network. Finally, we propose an algorithm named PRACTISE to accelerate networks using only tiny training sets. PRACTISE outperforms previous methods by a significant margin. For 22% latency reduction, it surpasses previous methods by on average 7 percentage points on ImageNet-1k. It also works well under data-free or out-of-domain data settings. Our code is at https://github.com/DoctorKey/Practise
• Abstract（参考訳）: データプライバシーの問題により、小さなトレーニングセットでネットワークを加速することが、現実的に重要なニーズとなっている。 従来手法ではフィルタレベルのプルーニングにより有望な結果を得た。 本稿では,この問題を理論的に検討し,理論結果によく適合する効果的なアルゴリズムを提案する。 まず,最近の数発圧縮アルゴリズムがオーバーフィット問題に苦しまない理由を説明するために,細粒度凸性仮説を提案する。 これに基づいて、これらの方法を初めて説明する理論が確立されている。 プルーニングネットワークの微調整に比べて、特徴模倣はパラメータのばらつきを低くすることができ、最適化が容易である。 理論的結論から、より凸最適化とより高い加速比の観点から、投下ブロックは基本的に優れた数ショット圧縮スキームであると主張する。 落下するブロックを選択するために,圧縮されたネットワークの復旧の難しさを効果的に測定する新しい指標,回復可能性を提案する。 最後に,小さなトレーニングセットのみを用いてネットワークを高速化するPRACTISEというアルゴリズムを提案する。 PRACTISEは従来の手法よりも大幅に優れていた。 22%のレイテンシ削減では、imagenet-1kでは、従来のメソッドを平均7パーセント上回っている。 データフリーやドメイン外のデータ設定でもうまく機能します。 私たちのコードはhttps://github.com/DoctorKey/Practiseにあります。

関連論文リスト

• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Robust Predictable Control [149.71263296079388]
  提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。 また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2021-09-07T17:29:34Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [88.51235160841377]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
  シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。 SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
  論文  参考訳（メタデータ） (2021-01-13T08:28:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。