論文の概要: Structured Channel Network Pruning with Bi-Sparse Matrix Factorization

• arxiv url: http://arxiv.org/abs/2611.00566v1
• Date: Sat, 31 Oct 2026 02:48:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:42:53.108417
• Title: Structured Channel Network Pruning with Bi-Sparse Matrix Factorization
• Title（参考訳）: Bi-Sparse Matrix Factorization を用いた構造チャネルネットワークプルーニング
• Abstract要約: 畳み込みニューラルネットワーク(CNN)のための構造化チャネルプルーニングは、パターン認識とディープラーニングにおいて重要な役割を果たす。 BSMF (Bi-Sparse matrix factorization) と呼ばれる新しいチャネル切断法を提案する。 提案するBSMFは,高い再構成精度を維持しつつ,ネットワーク圧縮の大幅な向上を実現している。
• 参考スコア（独自算出の注目度）: 28.629560473737396
• License:
• Abstract: Structured channel pruning for convolutional neural networks (CNNs) plays an important role in pattern recognition and deep learning. Nevertheless, existing methods usually calculate channel importance scores based on the magnitudes of individual filters, making it difficult to distinguish shared redundancy from individual channel contributions. To tackle this limitation, we propose a novel structured channel pruning method termed bi-sparse matrix factorization (BSMF). Specifically, BSMF characterizes the convolutional weight matrix as output-channel coefficients over a shared basis with row-wise $\ell_{2,p}$-norm and column-wise $\ell_{2,q}$-norm regularization terms, respectively. Note that $p,q\in[0,1)$, which, to our best knowledge, has not been explored in the literature. To solve the resulting non-convex optimization problem, we develop an efficient update scheme built upon the alternating direction method of multipliers (ADMM), in which all subproblems admit closed-form solutions. After that, a compact CNN is obtained by reconstructing the convolutional filters from the learned factors and discarding the redundant channels. Extensive experiments on the CIFAR-10 and ImageNet-1K datasets demonstrate that our proposed BSMF achieves significant network compression while maintaining high reconstruction accuracy. The source code is publicly available at https://github.com/xianchaoxiu/BSMF
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)のための構造化チャネルプルーニングは、パターン認識とディープラーニングにおいて重要な役割を果たす。 それにもかかわらず、既存の手法は通常、個々のフィルタの大きさに基づいてチャネル重要度を計算し、共有冗長性を個々のチャネル貢献と区別することは困難である。 この制限に対処するため,BSMF (bi-sparse matrix factorization) と呼ばれる新しいチャネル切断法を提案する。 具体的には、BSMF は畳み込み重み行列を、それぞれ行単位で $\ell_{2,p}$-norm と列単位で $\ell_{2,q}$-norm 正規化項で出力チャネル係数として特徴づける。 p,q\in[0,1)$は、私たちの知る限り、文献では研究されていないことに注意してください。 結果として得られる非凸最適化問題を解決するために,乗算器の交互方向法(ADMM)に基づく効率的な更新手法を開発し,全てのサブプロブレムが閉形式解を許容する。 その後、学習した要因から畳み込みフィルタを再構成し、冗長チャネルを破棄し、コンパクトなCNNを得る。 CIFAR-10とImageNet-1Kデータセットの大規模な実験により,提案したBSMFは高い再構成精度を維持しつつ,ネットワーク圧縮を著しく向上することを示した。 ソースコードはhttps://github.com/xianchaoxiu/BSMFで公開されている。

関連論文リスト

• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
  本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。 エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。 提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
  論文  参考訳（メタデータ） (2023-06-08T06:15:17Z)
• Network Pruning via Feature Shift Minimization [8.593369249204132]
  本稿では,CNNモデルを圧縮するための新しい特徴シフト最小化(FSM)手法を提案する。 提案手法は,様々なベンチマークネットワークやデータセット上での最先端性能を,広範な実験により検証する。
  論文  参考訳（メタデータ） (2022-07-06T12:50:26Z)
• Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation [10.775558382613077]
  チャネル推定とビームフォーミングは、周波数分割二重化(FDD)大規模マルチインプット多重出力(MIMO)システムにおいて重要な役割を果たす。 受信したアップリンクパイロットに応じて,基地局のビームフォーマを直接最適化する深層学習方式を提案する。 エンド・ツー・エンドの設計のスケーラビリティを向上させるために,ニューラルキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2021-08-03T14:26:14Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Self-grouping Convolutional Neural Networks [30.732298624941738]
  本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。 各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。 得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
  論文  参考訳（メタデータ） (2020-09-29T06:24:32Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。