論文の概要: Breaking through Deterministic Barriers: Randomized Pruning Mask
Generation and Selection
- arxiv url: http://arxiv.org/abs/2310.13183v2
- Date: Thu, 11 Jan 2024 04:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 03:20:26.789956
- Title: Breaking through Deterministic Barriers: Randomized Pruning Mask
Generation and Selection
- Title(参考訳): 決定論的障壁を破る:ランダムなプルーニングマスクの生成と選択
- Authors: Jianwei Li, Weizhi Gao, Qi Lei, Dongkuan Xu
- Abstract要約: 我々は大きなモデルを訓練し、その冗長なニューロンや重みを刈り取ることで除去する。
このアプローチはGLUEから8つのデータセットにまたがる最先端のパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 29.375460634415806
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: It is widely acknowledged that large and sparse models have higher accuracy
than small and dense models under the same model size constraints. This
motivates us to train a large model and then remove its redundant neurons or
weights by pruning. Most existing works pruned the networks in a deterministic
way, the performance of which solely depends on a single pruning criterion and
thus lacks variety. Instead, in this paper, we propose a model pruning strategy
that first generates several pruning masks in a designed random way.
Subsequently, along with an effective mask-selection rule, the optimal mask is
chosen from the pool of mask candidates. To further enhance efficiency, we
introduce an early mask evaluation strategy, mitigating the overhead associated
with training multiple masks. Our extensive experiments demonstrate that this
approach achieves state-of-the-art performance across eight datasets from GLUE,
particularly excelling at high levels of sparsity.
- Abstract(参考訳): 大型モデルとスパースモデルは同じモデルサイズ制約の下で、小型モデルと高密度モデルよりも精度が高いことが広く認識されている。
これは大きなモデルを訓練し、その冗長なニューロンや重みを刈り取ることで除去する動機となります。
既存の作品の多くは決定論的にネットワークをプルーンし、その性能は単一のプルーニング基準のみに依存するため、バラエティを欠いている。
そこで本研究では,まず複数のプルーニングマスクをランダムに生成するモデルプルーニング戦略を提案する。
その後、効果的なマスク選択規則とともに、最適なマスクをマスク候補のプールから選択する。
さらに効率を高めるために,複数のマスクのトレーニングに伴うオーバーヘッドを軽減する早期マスク評価戦略を導入する。
我々の広範な実験により、この手法はGLUEから8つのデータセットにまたがる最先端のパフォーマンスを実現している。
関連論文リスト
- Robust Unsupervised Crowd Counting and Localization with Adaptive
Resolution SAM [61.10712338956455]
本稿では,SEEM(Seegment-Everything-Everywhere Model)を用いた簡易かつ効果的な群集カウント手法を提案する。
密集した群集シーンにおけるSEEMの性能は,高密度領域の多くの人々が欠落していることが主な原因である。
提案手法は,群集カウントにおいて最高の教師なし性能を実現すると同時に,いくつかの教師付き手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2024-02-27T13:55:17Z) - One-Shot Pruning for Fast-adapting Pre-trained Models on Devices [28.696989086706186]
大規模な事前訓練モデルが下流タスクの解決に成功している。
これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。
そこで本研究では,類似タスクの抽出知識を活用して,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。
論文 参考訳(メタデータ) (2023-07-10T06:44:47Z) - DPPMask: Masked Image Modeling with Determinantal Point Processes [49.65141962357528]
Masked Image Modeling (MIM)は、ランダムにマスキングされた画像の再構成を目的として、印象的な代表的性能を達成した。
先行研究で広く使われている一様ランダムマスキングは、必然的にいくつかの重要なオブジェクトを失い、元のセマンティック情報を変更する。
この問題に対処するため、MIMを新しいマスキング戦略であるDPPMaskで強化する。
提案手法は単純だが有効であり,様々なフレームワークで実装される場合,余分に学習可能なパラメータは不要である。
論文 参考訳(メタデータ) (2023-03-13T13:40:39Z) - Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。
スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
論文 参考訳(メタデータ) (2022-10-05T17:34:04Z) - What You See is What You Classify: Black Box Attributions [61.998683569022006]
我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。
既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。
我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-23T12:30:04Z) - Mask Transfiner for High-Quality Instance Segmentation [95.74244714914052]
高品質で効率的なインスタンスセグメンテーションのためのMask Transfinerを提案する。
当社のアプローチでは, エラーが発生しやすい木ノードを検出し, エラーを並列に自己修正する。
私たちのコードとトレーニングされたモデルは、http://vis.xyz/pub/transfiner.comで公開されます。
論文 参考訳(メタデータ) (2021-11-26T18:58:22Z) - Masksembles for Uncertainty Estimation [60.400102501013784]
ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。
深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。
mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
論文 参考訳(メタデータ) (2020-12-15T14:39:57Z) - Investigating and Simplifying Masking-based Saliency Methods for Model
Interpretability [5.387323728379395]
画像の最も情報性の高い領域を識別する残差マップは、モデル解釈可能性に有用である。
唾液マップを作成するための一般的なアプローチは、画像の一部をマスクする入力マスクを生成することである。
マスキングモデルでは,クラス毎に10個のサンプルをトレーニングすることが可能であり,ローカライズエラーが0.7ポイントしか増加せず,いまだにサリエンシマップを生成可能であることを示す。
論文 参考訳(メタデータ) (2020-10-19T18:00:36Z) - Improving Self-supervised Pre-training via a Fully-Explored Masked
Language Model [57.77981008219654]
Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。
そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
論文 参考訳(メタデータ) (2020-10-12T21:28:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。