Fugu-MT 論文翻訳(概要): Class-Discriminative CNN Compression

論文の概要: Class-Discriminative CNN Compression

arxiv url: http://arxiv.org/abs/2110.10864v1
Date: Thu, 21 Oct 2021 02:54:05 GMT
ステータス: 処理完了
システム内更新日: 2021-10-22 17:15:07.396589
Title: Class-Discriminative CNN Compression
Title（参考訳）: クラス識別型CNN圧縮
Authors: Yuchen Liu, David Wentzlaff, S.Y. Kung
Abstract要約: 我々は,CNNのトレーニング目標を促進するために,プルーニングと蒸留の両方でクラス識別を注入するクラス識別圧縮(CDC)を提案する。 CDC は CIFAR と ILSVRC 2012 で評価されている。
参考スコア（独自算出の注目度）: 10.675326899147802
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Compressing convolutional neural networks (CNNs) by pruning and distillation has received ever-increasing focus in the community. In particular, designing a class-discrimination based approach would be desired as it fits seamlessly with the CNNs training objective. In this paper, we propose class-discriminative compression (CDC), which injects class discrimination in both pruning and distillation to facilitate the CNNs training goal. We first study the effectiveness of a group of discriminant functions for channel pruning, where we include well-known single-variate binary-class statistics like Student's T-Test in our study via an intuitive generalization. We then propose a novel layer-adaptive hierarchical pruning approach, where we use a coarse class discrimination scheme for early layers and a fine one for later layers. This method naturally accords with the fact that CNNs process coarse semantics in the early layers and extract fine concepts at the later. Moreover, we leverage discriminant component analysis (DCA) to distill knowledge of intermediate representations in a subspace with rich discriminative information, which enhances hidden layers' linear separability and classification accuracy of the student. Combining pruning and distillation, CDC is evaluated on CIFAR and ILSVRC 2012, where we consistently outperform the state-of-the-art results.
Abstract（参考訳）: 刈り込みと蒸留による畳み込みニューラルネットワーク(CNN)の圧縮は、コミュニティで常に注目されている。特に、クラス差別に基づくアプローチの設計は、cnnsのトレーニング目標にシームレスに適合するため望ましい。本稿では,CNNのトレーニング目標を達成するために,プルーニングと蒸留の両方でクラス識別を注入するクラス識別圧縮(CDC)を提案する。まず, チャネルプルーニングにおける識別関数群の有効性について検討し, 学生のt-testのような一変量二進数統計を, 直感的一般化を用いて検討した。次に,新しい階層適応型階層型プルーニング手法を提案し,初期層には粗いクラス識別方式,後期層には細かなクラス識別方式を提案する。この方法は、cnnが初期の層で粗い意味論を処理し、後で細かい概念を抽出するという事実と自然に一致する。さらに,識別成分分析(DCA)を利用して,識別情報の豊富な部分空間における中間表現の知識を抽出し,隠れ層の線形分離性と学生の分類精度を高める。 CIFAR と ILSVRC 2012 でプルーニングと蒸留を併用してCDC の評価を行った。

関連論文リスト

Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-13T04:16:40Z)
PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
論文参考訳（メタデータ） (2023-12-19T11:36:03Z)
Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
論文参考訳（メタデータ） (2023-10-21T09:53:17Z)
Feature Selection using Sparse Adaptive Bottleneck Centroid-Encoder [1.2487990897680423]
2つ以上のクラスで識別される特徴を決定するために,新しい非線形モデル SABCE (Sparse Adaptive Bottleneckid-Encoder) を導入する。このアルゴリズムは、高次元生物学的、画像、音声、加速度センサデータなど、様々な実世界のデータセットに適用される。
論文参考訳（メタデータ） (2023-06-07T21:37:21Z)
Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文参考訳（メタデータ） (2023-01-03T13:51:51Z)
Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文参考訳（メタデータ） (2022-03-17T04:34:28Z)
Fairness via Representation Neutralization [60.90373932844308]
フェアネスのための表現中立化(Representation Neutralization for Fairness, RNF)という新たな緩和手法を提案する。 RNFは、DNNモデルのタスク固有の分類ヘッダのみをデバイアスすることで、その公平性を達成する。複数のベンチマークデータセットに対する実験結果は、DNNモデルの識別を効果的に削減するRNFフレームワークを実証している。
論文参考訳（メタデータ） (2021-06-23T22:26:29Z)
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文参考訳（メタデータ） (2021-06-09T12:02:29Z)
Food Classification with Convolutional Neural Networks and Multi-Class Linear Discernment Analysis [0.0]
線形判別分析(LDA)は,クラス特徴の分離性を高めるために,多クラス分類法で実装することができる。 CNNは画像分類においてLDAよりも優れている。
論文参考訳（メタデータ） (2020-12-06T03:28:58Z)
A Feature-map Discriminant Perspective for Pruning Deep Neural Networks [24.062226363823257]
本稿では,特徴マップの識別性を高精度かつ効率的に定量化するための新しい数学的定式化を提案する。本研究では、DIの理論的性質、特に非減少特性を分析し、DIを有効な選択基準とする。そこで本稿では,DIに基づくグリーディープルーニングアルゴリズムと構造蒸留技術を用いて,プルーニング構造を自動的に決定する手法を提案する。
論文参考訳（メタデータ） (2020-05-28T06:25:22Z)
Rethinking Class-Discrimination Based CNN Channel Pruning [14.574489739794581]
チャネルプルーニングにおける幅広い識別機能の有効性について検討した。本研究では,構造解析の自動化を目的としたFLOP正規化感度解析手法を開発した。プレナードモデルでは,最先端の結果と比較して推論コストが低く,精度が向上する。
論文参考訳（メタデータ） (2020-04-29T21:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。