論文の概要: Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle
- arxiv url: http://arxiv.org/abs/2004.03376v2
- Date: Thu, 24 Jun 2021 12:56:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 03:42:52.028765
- Title: Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle
- Title（参考訳）: 筋電図Oracleを用いたチャンネルプルーニングのための塩分濃度の組成
- Authors: Kaveena Persand, Andrew Anderson, David Gregg
- Abstract要約: プルーニングは、特定の重量の除去に伴う損失関数の変化を近似するプルーニングサリエンシによって誘導される。
多くのプルーニング信号が提案されているが、それぞれの性能は訓練されたネットワークに依存している。
本稿では, プリミティブ・プルーニング・サリエンシを構成する手法を提案する。
- 参考スコア（独自算出の注目度）: 0.8043754868448141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The computation and memory needed for Convolutional Neural Network (CNN)
inference can be reduced by pruning weights from the trained network. Pruning
is guided by a pruning saliency, which heuristically approximates the change in
the loss function associated with the removal of specific weights. Many pruning
signals have been proposed, but the performance of each heuristic depends on
the particular trained network. This leaves the data scientist with a difficult
choice. When using any one saliency metric for the entire pruning process, we
run the risk of the metric assumptions being invalidated, leading to poor
decisions being made by the metric. Ideally we could combine the best aspects
of different saliency metrics. However, despite an extensive literature review,
we are unable to find any prior work on composing different saliency metrics.
The chief difficulty lies in combining the numerical output of different
saliency metrics, which are not directly comparable.
We propose a method to compose several primitive pruning saliencies, to
exploit the cases where each saliency measure does well. Our experiments show
that the composition of saliencies avoids many poor pruning choices identified
by individual saliencies. In most cases our method finds better selections than
even the best individual pruning saliency.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)推論に必要な計算とメモリは、トレーニングされたネットワークからの重み付けによって削減できる。
プルーニングは、特定の重量の除去に伴う損失関数の変化をヒューリスティックに近似したプルーニングサリエンシによって誘導される。
多くのプルーニング信号が提案されているが、それぞれのヒューリスティックの性能は特定の訓練されたネットワークに依存する。
これにより、データサイエンティストには難しい選択が残される。
プルーニングプロセス全体に対して1つのサリエンシメトリックを使用する場合、メトリックの仮定が無効にされるリスクを発生させ、メトリックによって決定が下される。
理想的には、さまざまなサリエンシーメトリクスの最良の側面を組み合わせることが出来ます。
しかし、広範囲にわたる文献レビューにもかかわらず、異なるサリエンシメトリクスを構成するための事前の作業は見つからない。
最大の難しさは、直接的に比較できない異なる相性メトリクスの数値出力を組み合わせることである。
そこで本研究では, プリミティブ・プルーニング・サリエンシーを構成する手法を提案し, それぞれのサリエンシー・測度がうまく機能する場合に活用する。
実験の結果,サリエンシの組成は,個々のサリエンシによって識別される多くのプルーニング選択を回避していることがわかった。
ほとんどの場合、我々の手法は、最高の個別プルーニングサリエンシよりも優れた選択を見出す。
関連論文リスト
- Graspness Discovery in Clutters for Fast and Accurate Grasp Detection [57.81325062171676]
グレープネス(graspness)とは、散らばった場面で把握可能な領域を区別する幾何学的手がかりに基づく品質である。
本研究では,探索過程を近似するカスケード把握モデルを構築した。
大規模なベンチマークであるGraspNet-1Billionの実験では,提案手法が従来の手法よりも大きなマージンで優れていたことが示されている。
論文 参考訳（メタデータ） (2024-06-17T02:06:47Z) - QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。
これにより、ネットワークは微妙な入力摂動から学習することができる。
量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文 参考訳（メタデータ） (2024-05-22T17:34:18Z) - Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs
"Difficult" Downstream Tasks in LLMs [71.56345106591789]
大型言語モデル(LLM)の重みには、かなりの冗長性が含まれていると信じられている。
本稿では,下流の難題に対処する上で必要となる重要な知識を包含する,事前訓練されたモデル重みの小さなマグニチュード重みについて述べる。
論文 参考訳（メタデータ） (2023-09-29T22:55:06Z) - Choosing a Proxy Metric from Past Experiments [54.338884612982405]
多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。
一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。
ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-14T17:43:02Z) - A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks [3.2895195535353308]
数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。
提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。
また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
論文 参考訳（メタデータ） (2022-11-26T21:31:00Z) - Preprint: Norm Loss: An efficient yet effective regularization method
for deep neural networks [7.214681039134488]
斜め多様体に基づく重み付き軟規則化法を提案する。
本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
論文 参考訳（メタデータ） (2021-03-11T10:24:49Z) - Multi-Loss Weighting with Coefficient of Variations [19.37721431024278]
本稿では,変動係数に基づく重み付け手法を提案し,モデルのトレーニング中に観測された特性に基づいて重みを設定する。
提案手法は損失のバランスをとるための不確実性の尺度を組み込んでおり、その結果、他の(学習ベース)最適化を必要とせずに、トレーニング中に損失重みが進化する。
提案手法の有効性は,複数のデータセット上での深度推定とセマンティックセグメンテーションに実証的に示される。
論文 参考訳（メタデータ） (2020-09-03T14:51:19Z) - Rethinking preventing class-collapsing in metric learning with
margin-based losses [81.22825616879936]
メトリクス学習は、視覚的に類似したインスタンスが近接し、異なるインスタンスが分離した埋め込みを求める。
マージンベースの損失は、クラスの全サンプルを埋め込み空間の単一点に投影する傾向がある。
そこで本研究では,各サンプルが最寄りの同一クラスをバッチで選択するように,埋め込み損失の簡易な修正を提案する。
論文 参考訳（メタデータ） (2020-06-09T09:59:25Z) - What is the State of Neural Network Pruning? [12.50128492336137]
我々は, 刈り取りへのアプローチの概観を含む, 文献のメタ分析を行う。
コミュニティは、標準化されたベンチマークとメトリクスの欠如に悩まされています。
我々は,プルーニング手法の標準化評価を容易にするオープンソースフレームワークであるShrinkBenchを紹介する。
論文 参考訳（メタデータ） (2020-03-06T05:06:12Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳（メタデータ） (2020-02-20T11:11:32Z) - The Price of Incentivizing Exploration: A Characterization via Thompson
Sampling and Sample Complexity [83.81297078039836]
インセンティブ付き探索(Incentivized Exploring)は、武器の選択を自給自足エージェントによって制御するマルチアーム・バンディットのバージョンである。
我々は、インセンティブの価格に焦点を合わせ、インセンティブの適合性のために、広く解釈された、パフォーマンスの喪失が引き起こされる。
論文 参考訳（メタデータ） (2020-02-03T04:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。