論文の概要: Lottery Pools: Winning More by Interpolating Tickets without Increasing Training or Inference Cost

• arxiv url: http://arxiv.org/abs/2208.10842v1
• Date: Tue, 23 Aug 2022 09:50:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:37:32.713273
• Title: Lottery Pools: Winning More by Interpolating Tickets without Increasing Training or Inference Cost
• Title（参考訳）: 宝くじ:トレーニングや推論のコストを増大させることなく、ティケットを補間することでより勝つ
• Authors: Lu Yin, Shiwei Liu, Fang Meng, Tianjin Huang, Vlado Menkovski, Mykola Pechenizkiy
• Abstract要約: ロッテリーチケット(LT)は、密集したネットワークの性能に合わせるために単独で訓練できる正確でまばらな作業を見つけることができる。 また,本手法は,流通シナリオとアウト・オブ・ディストリビューションシナリオの両方において,大幅な性能向上を実現していることを示す。
• 参考スコア（独自算出の注目度）: 18.10863943655044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lottery tickets (LTs) is able to discover accurate and sparse subnetworks that could be trained in isolation to match the performance of dense networks. Ensemble, in parallel, is one of the oldest time-proven tricks in machine learning to improve performance by combining the output of multiple independent models. However, the benefits of ensemble in the context of LTs will be diluted since ensemble does not directly lead to stronger sparse subnetworks, but leverages their predictions for a better decision. In this work, we first observe that directly averaging the weights of the adjacent learned subnetworks significantly boosts the performance of LTs. Encouraged by this observation, we further propose an alternative way to perform an 'ensemble' over the subnetworks identified by iterative magnitude pruning via a simple interpolating strategy. We call our method Lottery Pools. In contrast to the naive ensemble which brings no performance gains to each single subnetwork, Lottery Pools yields much stronger sparse subnetworks than the original LTs without requiring any extra training or inference cost. Across various modern architectures on CIFAR-10/100 and ImageNet, we show that our method achieves significant performance gains in both, in-distribution and out-of-distribution scenarios. Impressively, evaluated with VGG-16 and ResNet-18, the produced sparse subnetworks outperform the original LTs by up to 1.88% on CIFAR-100 and 2.36% on CIFAR-100-C; the resulting dense network surpasses the pre-trained dense-model up to 2.22% on CIFAR-100 and 2.38% on CIFAR-100-C.
• Abstract（参考訳）: lottery ticket (lts) は、密集したネットワークのパフォーマンスに合うように訓練できる、正確でスパースなサブネットワークを見つけることができる。 Ensembleは、機械学習において、複数の独立したモデルの出力を組み合わせることでパフォーマンスを向上させるための最も古い方法の1つである。 しかし、ltsの文脈におけるアンサンブルの利点は、アンサンブルがよりスパースなサブネットワークに直接結びつくのではなく、その予測をより良い決定のために活用するため、希薄になる。 本研究では,隣接する学習サブネットの重量を直接計算することで,LTの性能が著しく向上することを示す。 そこで本研究では, 簡単な補間戦略により, 繰り返し等級プルーニングによって同定されたサブネット上で「アンサンブル」を行う方法を提案する。 メソッドを Lottery Pools と呼びます。 各サブネットワークにパフォーマンス向上をもたらすナイーブアンサンブルとは対照的に、抽選プールは、余分なトレーニングや推論コストを必要とせずに、元のltsよりもはるかにスパースなサブネットワークを生成する。 CIFAR-10/100 および ImageNet 上の様々な近代的アーキテクチャにおいて,本手法は,分布内および分布外の両方において,大幅な性能向上を実現していることを示す。 VGG-16とResNet-18で評価され、製造されたスパースサブネットは、CIFAR-100で最大1.88%、CIFAR-100-Cで2.36%を上回り、CIFAR-100で最大2.22%、CIFAR-100-Cで2.38%を上回った。

関連論文リスト

• Data-Efficient Double-Win Lottery Tickets from Robust Pre-training [129.85939347733387]
  本稿では,事前学習したモデルからのサブネットワークを,様々な下流タスクで独立に転送できるDouble-Win Lottery Ticketsを紹介する。 頑健な事前訓練は、標準的なものよりも優れたパフォーマンスで、スペーサーのダブルウィン・宝くじを製作する傾向にある。
  論文  参考訳（メタデータ） (2022-06-09T20:52:50Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• PARP: Prune, Adjust and Re-Prune for Self-Supervised Speech Recognition [78.67749936030219]
  Prune-Adjust-Re-Prune (PARP) は、より優れたASR性能を実現するための細工品を発見する。 低リソースの英語および多言語ASRの実験では、事前訓練された音声SSLにスパースワークが存在する。
  論文  参考訳（メタデータ） (2021-06-10T17:32:25Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。