論文の概要: Out-of-the-box channel pruned networks

• arxiv url: http://arxiv.org/abs/2004.14584v1
• Date: Thu, 30 Apr 2020 04:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 02:54:43.204174
• Title: Out-of-the-box channel pruned networks
• Title（参考訳）: アウト・オブ・ボックス・チャンネル・プルーニング・ネットワーク
• Authors: Ragav Venkatesan, Gurumurthy Swaminathan, Xiong Zhou, Anna Luo
• Abstract要約: ランダムなチャネルワイドプルーニングポリシのプロファイルは,メトリックベースと同等であることを示す。 次に、あるデータセットから排他的ランダム検索を用いて発見されたトップ層ワイドプルーニングプロファイルが、他のデータセットの上位プロファイルであることを示す。
• 参考スコア（独自算出の注目度）: 3.957174470017176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the last decade convolutional neural networks have become gargantuan. Pre-trained models, when used as initializers are able to fine-tune ever larger networks on small datasets. Consequently, not all the convolutional features that these fine-tuned models detect are requisite for the end-task. Several works of channel pruning have been proposed to prune away compute and memory from models that were trained already. Typically, these involve policies that decide which and how many channels to remove from each layer leading to channel-wise and/or layer-wise pruning profiles, respectively. In this paper, we conduct several baseline experiments and establish that profiles from random channel-wise pruning policies are as good as metric-based ones. We also establish that there may exist profiles from some layer-wise pruning policies that are measurably better than common baselines. We then demonstrate that the top layer-wise pruning profiles found using an exhaustive random search from one datatset are also among the top profiles for other datasets. This implies that we could identify out-of-the-box layer-wise pruning profiles using benchmark datasets and use these directly for new datasets. Furthermore, we develop a Reinforcement Learning (RL) policy-based search algorithm with a direct objective of finding transferable layer-wise pruning profiles using many models for the same architecture. We use a novel reward formulation that drives this RL search towards an expected compression while maximizing accuracy. Our results show that our transferred RL-based profiles are as good or better than best profiles found on the original dataset via exhaustive search. We then demonstrate that if we found the profiles using a mid-sized dataset such as Cifar10/100, we are able to transfer them to even a large dataset such as Imagenet.
• Abstract（参考訳）: 過去10年間で、畳み込みニューラルネットワークはガーガントゥアンとなった。 イニシャライザとして使用される事前トレーニングされたモデルは、小さなデータセット上で、より大きなネットワークを微調整することができる。 したがって、これらの微調整されたモデルが検出するすべての畳み込み特徴は、エンドタスクに必要なものではない。 既に訓練済みのモデルから計算とメモリを抽出するために、いくつかのチャネルプルーニングが提案されている。 通常、これらには各レイヤから削除すべきチャンネル数を決定するポリシーが含まれており、それぞれがチャンネルワイドおよび/または層ワイドプルーニングプロファイルに導かれる。 本稿では,いくつかのベースライン実験を行い,無作為なチャネルワイドプルーニングポリシのプロファイルがメートル法と同等であることを示す。 また,一般的なベースラインよりも測定可能な層毎のプルーニングポリシのプロファイルが存在することも確認した。 次に、あるデータセットから排他的ランダム検索を用いて発見されたトップ層ワイドプルーニングプロファイルが、他のデータセットの上位プロファイルであることを示す。 これは、ベンチマークデータセットを使用して、アウト・オブ・ザ・ボックスのレイヤワイズプロファイルを特定し、これらを新しいデータセットに直接使用することができることを意味します。 さらに,同アーキテクチャの多くのモデルを用いて,転送可能なレイヤワイドプルーニングプロファイルを求めることを目的として,RL(Reinforcement Learning)ポリシーに基づく探索アルゴリズムを開発した。 我々は、このRL探索を予測圧縮に向けて駆動し、精度を最大化する新しい報酬定式化を用いる。 以上の結果から, 転送されたRLベースのプロファイルは, 排他的検索により, 元のデータセットで見つかった最も良いプロファイルと同等かそれ以上であることがわかった。 そして、cifar10/100のような中規模のデータセットを使ってプロファイルを見つけたら、imagenetのような大きなデータセットにもそれを転送できることを実証します。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Extending the Forward Forward Algorithm [1.448946342885513]
  MNISTデータセット上でGeoffrey Hintonの実験を再現する。 我々は,IMDb映画レビューデータセット上で,フォワードフォワードネットワークのベースライン性能を確立する。 私たちが知る限り、この感情分析タスクの結果は、コンピュータビジョンを超えたアルゴリズムの拡張の最初の例である。
  論文  参考訳（メタデータ） (2023-07-09T15:26:18Z)
• Distilled Pruning: Using Synthetic Data to Win the Lottery [2.4366811507669124]
  この研究は、蒸留データを用いてディープラーニングモデルを刈り取る新しいアプローチを導入する。 当社のアプローチでは,CIFAR-10上でのイテレーティブマグニチュード・プルーニングよりも5倍の速度で,スパースでトレーニング可能なワークを見つけることができる。 実験結果は、資源効率のよいニューラルネットワークプルーニング、モデル圧縮、ニューラルネットワーク探索に蒸留データを使用することの可能性を強調した。
  論文  参考訳（メタデータ） (2023-07-07T03:07:28Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• CNN Filter DB: An Empirical Investigation of Trained Convolutional Filters [2.0305676256390934]
  モデル事前学習は、サイズと分散条件を満たす場合、任意のデータセットで成功することを示す。 事前学習された多くのモデルには、劣化したフィルタが含まれており、それによって、より堅牢で、ターゲットアプリケーションの微調整に適さないことが示される。
  論文  参考訳（メタデータ） (2022-03-29T08:25:42Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
  本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。 提案するフレームワークは勾配ベースでモデルに依存しない。 その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-07-09T23:20:44Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。