論文の概要: Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask
Similarity for Trainable Sub-Network Finding
- arxiv url: http://arxiv.org/abs/2007.04091v1
- Date: Mon, 6 Jul 2020 22:48:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 01:51:11.037653
- Title: Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask
Similarity for Trainable Sub-Network Finding
- Title（参考訳）: Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask similarity for Trainable Sub-Network Finding
- Authors: Michela Paganini, Jessica Zosa Forde
- Abstract要約: Lottery Ticketsは、過度にパラメータ化されたネットワーク内のスパースサブネットワークである。
精巧な宝くじを生成するためのコンセンサスに基づく手法を提案する。
これらのサブネットワークを通常の宝くじに匹敵するパフォーマンスでトレーニングすることに成功しました。
- 参考スコア（独自算出の注目度）: 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The observation of sparse trainable sub-networks within over-parametrized
networks - also known as Lottery Tickets (LTs) - has prompted inquiries around
their trainability, scaling, uniqueness, and generalization properties. Across
28 combinations of image classification tasks and architectures, we discover
differences in the connectivity structure of LTs found through different
iterative pruning techniques, thus disproving their uniqueness and connecting
emergent mask structure to the choice of pruning. In addition, we propose a
consensus-based method for generating refined lottery tickets. This lottery
ticket denoising procedure, based on the principle that parameters that always
go unpruned across different tasks more reliably identify important
sub-networks, is capable of selecting a meaningful portion of the architecture
in an embarrassingly parallel way, while quickly discarding extra parameters
without the need for further pruning iterations. We successfully train these
sub-networks to performance comparable to that of ordinary lottery tickets.
- Abstract（参考訳）: 過パラメータネットワーク内の疎トレーニング可能なサブネットワーク(ロッテリーチケット(lts)とも呼ばれる)の観測は、そのトレーサビリティ、スケーリング、ユニーク性、一般化性に関する問い合わせを促している。
28種類の画像分類タスクとアーキテクチャの組み合わせで、異なる反復プルーニング手法によって発見されたLTの接続構造の違いを発見し、その特異性を証明し、創発マスク構造とプルーニングの選択を結びつける。
さらに,精巧な宝くじ生成のためのコンセンサスに基づく手法を提案する。
この宝くじのデノベーション手順は、異なるタスクにまたがるパラメータが常に確実に重要なサブネットワークを識別する原則に基づいており、アーキテクチャの有意義な部分を恥ずかしいほど並列に選択できると同時に、追加のパラメータをさらなる反復を必要とせずに迅速に破棄することができる。
これらのサブネットワークを通常の宝くじに匹敵するパフォーマンスでトレーニングすることに成功しました。
関連論文リスト
- Randomly Initialized Subnetworks with Iterative Weight Recycling [0.0]
Multi-Prize Lottery Ticket仮説は、ランダムなニューラルネットワークには、同じアーキテクチャの完全に訓練されたモデルに匹敵する精度を達成する複数の作業が含まれていることを示唆している。
本稿では,ストレージコストやスケーリングを伴わずに高精度な処理を行う2つの最先端アルゴリズムの修正を提案する。
論文 参考訳（メタデータ） (2023-03-28T13:12:00Z) - COLT: Cyclic Overlapping Lottery Tickets for Faster Pruning of
Convolutional Neural Networks [5.956029437413275]
本研究の目的は、抽選チケットの集合から当選した宝くじを発生させることである。
本稿では,スクラッチからプルーンドネットワークをスクラッチに分割し,周期的再学習を行うことにより,Cyclic Overlapping Lottery Ticket (COLT) と呼ばれる新しい当選チケットを導入する。
論文 参考訳（メタデータ） (2022-12-24T16:38:59Z) - Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask
Training [55.43088293183165]
近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。
本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。
我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
論文 参考訳（メタデータ） (2022-04-24T08:42:47Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。
本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。
具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
論文 参考訳（メタデータ） (2022-02-09T21:33:51Z) - Universality of Deep Neural Network Lottery Tickets: A Renormalization
Group Perspective [89.19516919095904]
1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。
我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。
ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
論文 参考訳（メタデータ） (2021-10-07T06:50:16Z) - Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。
入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。
本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
論文 参考訳（メタデータ） (2021-06-06T19:58:17Z) - The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。
そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。
我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文 参考訳（メタデータ） (2021-03-30T17:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。