論文の概要: COPS: Controlled Pruning Before Training Starts
- arxiv url: http://arxiv.org/abs/2107.12673v1
- Date: Tue, 27 Jul 2021 08:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-28 14:53:03.379205
- Title: COPS: Controlled Pruning Before Training Starts
- Title（参考訳）: COPS:訓練開始前に制御されたプルーニング
- Authors: Paul Wimmer, Jens Mehnert, Alexandru Condurache
- Abstract要約: 最先端のディープニューラルネットワーク(DNN)プルーニング技術は、トレーニング開始前にワンショットで適用され、プルーニングスコアと呼ばれる単一の基準の助けを借りてスパースアーキテクチャを評価する。
この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art deep neural network (DNN) pruning techniques, applied
one-shot before training starts, evaluate sparse architectures with the help of
a single criterion -- called pruning score. Pruning weights based on a solitary
score works well for some architectures and pruning rates but may also fail for
other ones. As a common baseline for pruning scores, we introduce the notion of
a generalized synaptic score (GSS). In this work we do not concentrate on a
single pruning criterion, but provide a framework for combining arbitrary GSSs
to create more powerful pruning strategies. These COmbined Pruning Scores
(COPS) are obtained by solving a constrained optimization problem. Optimizing
for more than one score prevents the sparse network to overly specialize on an
individual task, thus COntrols Pruning before training Starts. The
combinatorial optimization problem given by COPS is relaxed on a linear program
(LP). This LP is solved analytically and determines a solution for COPS.
Furthermore, an algorithm to compute it for two scores numerically is proposed
and evaluated. Solving COPS in such a way has lower complexity than the best
general LP solver. In our experiments we compared pruning with COPS against
state-of-the-art methods for different network architectures and image
classification tasks and obtained improved results.
- Abstract（参考訳）: 最先端のディープニューラルネットワーク(dnn)プルーニングテクニック、トレーニング開始前にワンショットを適用し、プルーニングスコアと呼ばれる1つの基準によってスパースアーキテクチャを評価する。
単独スコアに基づくプルーニングウェイトは、いくつかのアーキテクチャやプルーニングレートではうまく機能するが、他のアーキテクチャでは失敗する可能性がある。
プルーニングスコアの共通ベースラインとして,一般化シナプススコア(GSS)の概念を導入する。
この作業では、単一プルーニング基準に集中するのではなく、任意のGASを組み合わせてより強力なプルーニング戦略を構築するためのフレームワークを提供します。
これらの組み合わせプルーニングスコア(cops)は制約付き最適化問題を解いて得られる。
複数のスコアを最適化することで、スパースネットワークが個々のタスクを過度に専門化するのを防ぐことができる。
COPSによる組合せ最適化問題は線形プログラム(LP)上で緩和される。
このLPを解析的に解き、COPSの解を決定する。
さらに,2つのスコアに対して数値計算を行うアルゴリズムを提案し,評価した。
このような方法でCOPSを解くことは、最も一般的なLPソルバよりも複雑さが低い。
実験では,異なるネットワークアーキテクチャや画像分類タスクの最先端手法と比較し,改良された結果を得た。
関連論文リスト
- The role of quantum and classical correlations in shrinking algorithms for optimization [0.0]
最適化問題(COP)における縮小アルゴリズムの性能について検討する。
量子近似最適化アルゴリズム (QAOA) と古典線形計画法 (LP) と半定値計画法 (SDP) の相関によるアルゴリズムの性能の比較を行った。
その結果、LPは低密度のインスタンスに対して他の全てのアプローチよりも優れており、SDPは高密度の問題に対して優れていた。
論文 参考訳（メタデータ） (2024-04-26T08:29:04Z) - Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits [12.674929126684528]
我々は、プレイヤーがPアクションの中から d 個の基本アイテムを含む集合のパワーセットから選択する半帯域の問題に対処する。
提案手法は半帯域フィードバックを効果的に活用し,帯域フィードバックアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2024-02-23T08:07:54Z) - A Unified Framework for Soft Threshold Pruning [27.853698217792456]
反復収縮閾値アルゴリズム(ISTA)を用いた暗黙の最適化問題としてソフトしきい値プルーニングを再構成する。
我々は,フレームワークに基づくしきい値スケジューリングの詳細な研究を通じて,最適なしきい値スケジューラを導出する。
原理的には、導出プルーニングアルゴリズムは、SGDで訓練された任意の数学的モデルをスパース化することができる。
論文 参考訳（メタデータ） (2023-02-25T08:16:14Z) - AskewSGD : An Annealed interval-constrained Optimisation method to train
Quantized Neural Networks [12.229154524476405]
我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。
アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。
実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
論文 参考訳（メタデータ） (2022-11-07T18:13:44Z) - Planning and Learning with Adaptive Lookahead [74.39132848733847]
ポリシーイテレーション(PI)アルゴリズムは、欲求の一段階の改善と政策評価を交互に行う。
近年の文献では、複数段階のルックアヘッドポリシーの改善が、イテレーション毎の複雑さの増加を犠牲にして、よりコンバージェンス率の向上につながることが示されている。
本研究では,多段階の地平線を状態と推定値の関数として動的に適応する手法を初めて提案する。
論文 参考訳（メタデータ） (2022-01-28T20:26:55Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-09-23T17:38:24Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - Constraint-Handling Techniques for Particle Swarm Optimization
Algorithms [0.0]
人口ベースの手法は、従来の方法よりもはるかに複雑な問題を含む、さまざまな問題に対処することができる。
本研究の目的は,アルゴリズムに汎用的な設定を組み込んだPSOに適したCHTを開発し,比較することである。
論文 参考訳（メタデータ） (2021-01-25T01:49:10Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Second-Order Guarantees in Centralized, Federated and Decentralized
Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。
いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。
これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文 参考訳（メタデータ） (2020-03-31T16:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。