Fugu-MT 論文翻訳(概要): Partial Channel Network: Compute Fewer, Perform Better

論文の概要: Partial Channel Network: Compute Fewer, Perform Better

arxiv url: http://arxiv.org/abs/2502.01303v1
Date: Mon, 03 Feb 2025 12:26:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:03:25.708972
Title: Partial Channel Network: Compute Fewer, Perform Better
Title（参考訳）: 部分チャネルネットワーク: 計算コストが向上し、パフォーマンスが向上
Authors: Haiduo Huang, Tian Xia, Wenzhe zhao, Pengju Ren,
Abstract要約: 特徴写像チャネル内の冗長性を利用するための新しい部分チャネル機構(PCM)を提案する。視覚的注意を効果的に組み合わせられる新しい部分的注意畳み込み(PATConv)を導入する。 PATConv と DPConv をベースとして,ParialNet という新たなハイブリッドネットワークファミリを提案する。
参考スコア（独自算出の注目度）: 6.666628122653455
License:
Abstract: Designing a module or mechanism that enables a network to maintain low parameters and FLOPs without sacrificing accuracy and throughput remains a challenge. To address this challenge and exploit the redundancy within feature map channels, we propose a new solution: partial channel mechanism (PCM). Specifically, through the split operation, the feature map channels are divided into different parts, with each part corresponding to different operations, such as convolution, attention, pooling, and identity mapping. Based on this assumption, we introduce a novel partial attention convolution (PATConv) that can efficiently combine convolution with visual attention. Our exploration indicates that the PATConv can completely replace both the regular convolution and the regular visual attention while reducing model parameters and FLOPs. Moreover, PATConv can derive three new types of blocks: Partial Channel-Attention block (PAT_ch), Partial Spatial-Attention block (PAT_sp), and Partial Self-Attention block (PAT_sf). In addition, we propose a novel dynamic partial convolution (DPConv) that can adaptively learn the proportion of split channels in different layers to achieve better trade-offs. Building on PATConv and DPConv, we propose a new hybrid network family, named PartialNet, which achieves superior top-1 accuracy and inference speed compared to some SOTA models on ImageNet-1K classification and excels in both detection and segmentation on the COCO dataset. Our code is available at https://github.com/haiduo/PartialNet.
Abstract（参考訳）: ネットワークが低いパラメータとFLOPを精度とスループットを犠牲にすることなく維持できるモジュールやメカニズムを設計することは、依然として課題である。そこで我々は,この課題に対処し,特徴マップチャネル内の冗長性を活用すべく,部分チャネル機構(PCM)という新しい解を提案する。具体的には、分割操作により、特徴マップチャネルは、畳み込み、注意、プーリング、アイデンティティマッピングなど、異なる操作に対応する各部分に分割される。この仮定に基づき,視覚的注意を効果的に組み合わせられる新しい部分注意畳み込み(PATConv)を導入する。 PATConvは、モデルパラメータとFLOPを低減しつつ、通常の畳み込みと通常の視覚的注意の両方を完全に置き換えることができることを示す。さらに、PATConvは、Partial Channel-Attention Block (PAT_ch)、Partial Spatial-Attention Block (PAT_sp)、Partial Self-Attention Block (PAT_sf)の3つの新しいタイプのブロックを導出することができる。さらに,異なる層における分割チャネルの割合を適応的に学習し,よりよいトレードオフを実現する新しい動的部分的畳み込み(DPConv)を提案する。 PATConv と DPConv をベースにした新たなハイブリッドネットワークファミリであるpartialNet を提案する。これは ImageNet-1K の分類における SOTA モデルよりも優れたトップ-1 の精度と推論速度を実現し,COCO データセットにおける検出とセグメンテーションの両面で優れる。私たちのコードはhttps://github.com/haiduo/PartialNet.comで利用可能です。

関連論文リスト

SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
論文参考訳（メタデータ） (2023-12-01T08:22:34Z)
Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets [91.25055890980084]
小さなデータセットでスクラッチからトレーニングする場合、ビジョントランスフォーマー(ViT)と畳み込みニューラルネットワーク(CNN)の間には、依然として極端なパフォーマンスギャップがある。本稿では2つの帰納バイアスを緩和する解として動的ハイブリッドビジョン変換器(DHVT)を提案する。我々のDHVTは、CIFAR-100が85.68%、22.8Mパラメータが82.3%、ImageNet-1Kが24.0Mパラメータが82.3%の軽量モデルで、最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2022-10-12T06:54:39Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
CT-Net: Channel Tensorization Network for Video Classification [48.4482794950675]
3D畳み込みはビデオ分類には強力だが、しばしば計算コストがかかる。ほとんどのアプローチは、畳み込み効率と機能的相互作用の十分性の間の好適なバランスを達成できない。簡潔で斬新なチャネルネットワーク(CT-Net)を提案する。我々のCT-Netは、精度および/または効率の点で、最近のSOTAアプローチよりも優れています。
論文参考訳（メタデータ） (2021-06-03T05:35:43Z)
Skip-Convolutions for Efficient Video Processing [21.823332885657784]
Skip-Convolutionsはビデオストリームにおける大量の冗長性を活用し、計算を節約する。私たちは、EfficientDetとHRNetという2つの最先端アーキテクチャで、すべての畳み込みをSkip-Convolutionsで置き換えます。 2つの異なるタスクに対して34倍の係数で計算コストを一貫して削減します。
論文参考訳（メタデータ） (2021-04-23T09:10:39Z)
Diverse Branch Block: Building a Convolution as an Inception-like Unit [123.59890802196797]
畳み込みニューラルネットワーク(Convolutional Neural Network、ConvNet)のユニバーサルビルディングブロックを提案し、推論時間コストなしでパフォーマンスを向上させる。 Diverse Branch Block(DBB)は、異なるスケールと複雑さの多様なブランチを組み合わせることで、単一の畳み込みの表現能力を高めます。トレーニング後、DBBを単一のConv層に等価に変換してデプロイすることができる。
論文参考訳（メタデータ） (2021-03-24T18:12:00Z)
PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
論文参考訳（メタデータ） (2020-07-13T05:14:11Z)
Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution [11.674837640798126]
我々は、類似したパターンを許容するが、少ない計算を必要とする機能を実現するために、textbfsplitベースのtextbfconvolutional Operation(SPConv)を提案する。我々は,SPConvを装備したネットワークが,GPU上での精度と推論時間の両方において,最先端のベースラインを一貫して上回っていることを示す。
論文参考訳（メタデータ） (2020-06-22T09:08:51Z)
Dynamic Region-Aware Convolution [85.20099799084026]
本稿では,複数のフィルタを対応する空間領域に自動的に割り当てる動的領域認識畳み込み(DRConv)を提案する。 ImageNet分類において、DRConvベースのShuffleNetV2-0.5xは6.3%の相対的な改善と46M乗算加算レベルで67.1%の最先端性能を達成する。
論文参考訳（メタデータ） (2020-03-27T05:49:57Z)
SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping [43.37989928043927]
我々は,チャネル冗長性を低減し,CNNの性能を高めるために,新しいSlim Convolution(SlimConv)モジュールを設計する。 SlimConvは、Reconstruct、Transform、Fuseの3つの主要なステップで構成されている。我々は、ImageNet、MS2014、Pascal VOC2012セグメンテーション、Pascal VOC2007検出データセットに関する総合的な実験を行い、SlimConvの有効性を検証する。
論文参考訳（メタデータ） (2020-03-16T23:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。