論文の概要: CFDP: Common Frequency Domain Pruning
- arxiv url: http://arxiv.org/abs/2306.04147v1
- Date: Wed, 7 Jun 2023 04:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 16:18:49.494905
- Title: CFDP: Common Frequency Domain Pruning
- Title（参考訳）: cfdp: 共通周波数領域のプルーニング
- Authors: Samir Khaki, Weihan Luo
- Abstract要約: 本稿では,周波数領域を経由したモデルプルーニングのための新しいエンドツーエンドパイプラインを提案する。
我々はCIFAR-10で、GoogLeNetが95.25%、すなわちオリジナルのモデルから+0.2%の精度で達成した。
特筆すべきパフォーマンスに加えて、CFDPによって生成されたモデルは、様々な構成に対して堅牢性を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the saying goes, sometimes less is more -- and when it comes to neural
networks, that couldn't be more true. Enter pruning, the art of selectively
trimming away unnecessary parts of a network to create a more streamlined,
efficient architecture. In this paper, we introduce a novel end-to-end pipeline
for model pruning via the frequency domain. This work aims to shed light on the
interoperability of intermediate model outputs and their significance beyond
the spatial domain. Our method, dubbed Common Frequency Domain Pruning (CFDP)
aims to extrapolate common frequency characteristics defined over the feature
maps to rank the individual channels of a layer based on their level of
importance in learning the representation. By harnessing the power of CFDP, we
have achieved state-of-the-art results on CIFAR-10 with GoogLeNet reaching an
accuracy of 95.25%, that is, +0.2% from the original model. We also outperform
all benchmarks and match the original model's performance on ImageNet, using
only 55% of the trainable parameters and 60% of the FLOPs. In addition to
notable performances, models produced via CFDP exhibit robustness to a variety
of configurations including pruning from untrained neural architectures, and
resistance to adversarial attacks. The implementation code can be found at
https://github.com/Skhaki18/CFDP.
- Abstract（参考訳）: ニューラルネットワークに関して言えば、それはもっと真実ではありませんでした。
プルーニング(pruning)は、ネットワークの不要な部分を選択的に切り離して、より合理化され効率的なアーキテクチャを作り出す技術である。
本稿では,周波数領域を経由したモデルプルーニングのための新しいエンドツーエンドパイプラインを提案する。
本研究は,中間モデル出力の相互運用とその空間領域を超えての意義を浮き彫りにすることを目的とする。
提案手法は,共通周波数領域抽出(CFDP)と呼ばれ,特徴マップ上に定義された共通周波数特性を抽出し,その表現の学習における重要度に基づいて,各層のチャネルをランク付けすることを目的としている。
CFDPのパワーを利用して、GoogLeNetによるCIFAR-10の最先端の成果を95.25%、すなわちオリジナルのモデルから+0.2%の精度で達成した。
また、トレーニング可能なパラメータの55%とFLOPの60%しか使用せず、すべてのベンチマークを上回り、ImageNetで元のモデルのパフォーマンスと一致しています。
注目すべきパフォーマンスに加えて、CFDPによって生成されたモデルは、トレーニングされていないニューラルネットワークからのプルーニングや、敵攻撃に対する抵抗など、さまざまな構成に対して堅牢性を示す。
実装コードはhttps://github.com/Skhaki18/CFDPで確認できる。
関連論文リスト
- RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。
RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
論文 参考訳（メタデータ） (2024-11-10T13:35:10Z) - Efficient Context Integration through Factorized Pyramidal Learning for
Ultra-Lightweight Semantic Segmentation [1.0499611180329804]
本稿では,FPL(Facterized Pyramidal Learning)モジュールを提案する。
空間ピラミッドを2つのステージに分解し,モジュール内での簡易かつ効率的な特徴融合により,悪名高いチェッカーボード効果を解決する。
FPLモジュールとFIRユニットをベースとしたFPLNetと呼ばれる超軽量リアルタイムネットワークを提案する。
論文 参考訳（メタデータ） (2023-02-23T05:34:51Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳（メタデータ） (2022-11-16T21:55:05Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-20T14:41:37Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z) - Multi-scale Attention U-Net (MsAUNet): A Modified U-Net Architecture for
Scene Segmentation [1.713291434132985]
画像からコンテキスト情報を用いたシーンセグメンテーションのためのマルチスケールアテンションネットワークを提案する。
このネットワークは、局所的な特徴をグローバルな特徴にマップし、精度を向上し、識別画像領域を強調する。
我々はPascalVOC2012とADE20kという2つの標準データセットでモデルを評価した。
論文 参考訳（メタデータ） (2020-09-15T08:03:41Z) - Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。
CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。
ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
論文 参考訳（メタデータ） (2020-07-29T23:17:48Z) - ResNeSt: Split-Attention Networks [86.25490825631763]
このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。
我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
論文 参考訳（メタデータ） (2020-04-19T20:40:31Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。