論文の概要: How many winning tickets are there in one DNN?

• arxiv url: http://arxiv.org/abs/2006.07014v1
• Date: Fri, 12 Jun 2020 08:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:41:27.787183
• Title: How many winning tickets are there in one DNN?
• Title（参考訳）: 1つのDNNで優勝チケットは何枚ありますか。
• Authors: Kathrin Grosse, Michael Backes
• Abstract要約: 各ネットワークには,初期重みが固定された場合でも,複数の入賞チケットが含まれていることを示す。 結果として得られる勝利するサブネットワークは、重み空間対称性の下で同じネットワークのインスタンスではない。 我々は,有能なサブネットワークに対して,単独の当選チケットとは対照的に,むしろ分布が存在すると結論づける。
• 参考スコア（独自算出の注目度）: 18.679152306439832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent lottery ticket hypothesis proposes that there is one sub-network that matches the accuracy of the original network when trained in isolation. We show that instead each network contains several winning tickets, even if the initial weights are fixed. The resulting winning sub-networks are not instances of the same network under weight space symmetry, and show no overlap or correlation significantly larger than expected by chance. If randomness during training is decreased, overlaps higher than chance occur, even if the networks are trained on different tasks. We conclude that there is rather a distribution over capable sub-networks, as opposed to a single winning ticket.
• Abstract（参考訳）: 最近の宝くじ改札仮説は、独立して訓練された際に元のネットワークの精度と一致するサブネットワークが存在することを示唆している。 各ネットワークには,初期重みが固定された場合でも,複数の入賞チケットが含まれていることを示す。 結果として得られるサブネットワークは、重み空間対称性の下で同じネットワークのインスタンスではなく、偶然に予想される以上の重複や相関は示さない。 トレーニング中のランダム性が低下すると、ネットワークが異なるタスクでトレーニングされたとしても、チャンスよりもオーバーラップが発生する。 我々は、単一の入賞券とは対照的に、有能なサブネットワークに対する分布がむしろ存在すると結論づける。

関連論文リスト

• Not All Lotteries Are Made Equal [0.0]
  本研究は, モデルサイズとこれらのスパースサブネットワークの発見容易性の関係について検討する。 意外なことに、有限の予算の下では、小さなモデルの方がTicket Search(TS)の恩恵を受けることを示す実験を通して示します。
  論文  参考訳（メタデータ） (2022-06-16T13:41:36Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。