論文の概要: Differentiable Channel Sparsity Search via Weight Sharing within Filters

• arxiv url: http://arxiv.org/abs/2010.14714v2
• Date: Wed, 5 Jan 2022 13:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:30:42.791473
• Title: Differentiable Channel Sparsity Search via Weight Sharing within Filters
• Title（参考訳）: フィルタ内重み共有によるチャネル間隔の微分検索
• Authors: Yu Zhao, Chung-Kuei Lee
• Abstract要約: 本稿では,畳み込みニューラルネットワークのための識別可能なチャネル空間探索(DCSS)を提案する。 畳み込み層ごとにプルーネ比を手動で設定する従来のチャネルプルーニングアルゴリズムとは異なり、DCSSは空間の最適な組み合わせを自動的に検索する。
• 参考スコア（独自算出の注目度）: 1.5138755188783584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose the differentiable channel sparsity search (DCSS) for convolutional neural networks. Unlike traditional channel pruning algorithms which require users to manually set prune ratios for each convolutional layer, DCSS automatically searches the optimal combination of sparsities. Inspired by the differentiable architecture search (DARTS), we draw lessons from the continuous relaxation and leverage the gradient information to balance the computational cost and metrics. Since directly applying the scheme of DARTS causes shape mismatching and excessive memory consumption, we introduce a novel technique called weight sharing within filters. This technique elegantly eliminates the problem of shape mismatching with negligible additional resources. We conduct comprehensive experiments on not only image classification but also find-grained tasks including semantic segmentation and image super resolution to verify the effectiveness of DCSS. Compared with previous network pruning approaches, DCSS achieves state-of-the-art results for image classification. Experimental results of semantic segmentation and image super resolution indicate that task-specific search achieves better performance than transferring slim models, demonstrating the wide applicability and high efficiency of DCSS.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークのための識別可能なチャネル空間探索(DCSS)を提案する。 畳み込み層ごとにプルーネ比を手動で設定する従来のチャネルプルーニングアルゴリズムとは異なり、DCSSは空間の最適な組み合わせを自動的に検索する。 微分可能なアーキテクチャ探索(DARTS)にインスパイアされ、連続的な緩和から教訓を導き、勾配情報を利用して計算コストとメトリクスのバランスをとる。 DARTSのスキームを直接適用すると形状ミスマッチや過剰なメモリ消費が発生するため、フィルタ内での重み共有と呼ばれる新しい手法を導入する。 この手法は、不要な追加資源との形状ミスマッチの問題をエレガントに排除する。 画像分類だけでなく,意味セグメンテーションや画像スーパーレゾリューションなど,きめ細かなタスクも総合的に実施し,dcsの有効性を検証する。 従来のネットワークプルーニング手法と比較して、dcssは画像分類の最先端の結果を得る。 セマンティクスセグメンテーションと画像の超解像実験の結果,スリムモデルよりもタスク固有探索の性能が向上し,dcsの広い適用性と高い効率性が示された。

関連論文リスト

• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Strong Baseline and Bag of Tricks for COVID-19 Detection of CT Scans [2.696776905220987]
  従来のディープラーニングフレームワークは、CT画像のスライス数や解像度の変化によって互換性の問題に直面する。 この制限に対処するために,各CTデータセットに対して新しいスライス選択法を提案する。 上記の方法に加えて、様々な高性能分類モデルについて検討し、最終的には有望な結果を得る。
  論文  参考訳（メタデータ） (2023-03-15T09:52:28Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Rank-Enhanced Low-Dimensional Convolution Set for Hyperspectral Image Denoising [50.039949798156826]
  本稿では,ハイパースペクトル(HS)画像の難解化問題に対処する。 ランク付き低次元畳み込み集合(Re-ConvSet)を提案する。 次に、Re-ConvSetを広く使われているU-Netアーキテクチャに組み込んで、HS画像復号法を構築する。
  論文  参考訳（メタデータ） (2022-07-09T13:35:12Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
  最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。 メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
  論文  参考訳（メタデータ） (2020-04-06T11:08:12Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)
• DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning [122.51237307910878]
  我々は,画像領域間の最適なマッチングの新しい視点から,少数ショット画像分類法を開発した。 我々は、高密度画像表現間の構造距離を計算するために、Earth Mover's Distance (EMD) を用いている。 定式化において重要な要素の重みを生成するために,我々は相互参照機構を設計する。
  論文  参考訳（メタデータ） (2020-03-15T08:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。