論文の概要: Considering Layerwise Importance in the Lottery Ticket Hypothesis

• arxiv url: http://arxiv.org/abs/2302.11244v1
• Date: Wed, 22 Feb 2023 09:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 15:39:50.787714
• Title: Considering Layerwise Importance in the Lottery Ticket Hypothesis
• Title（参考訳）: Lottery Ticket仮説における階層的重要性の検討
• Authors: Benjamin Vandersmissen and Jose Oramas
• Abstract要約: Lottery Ticket hypothesis (LTH) は、モデルを反復的に訓練し、最も低い大域重量級の接続を除去し、残りの接続を巻き戻すことにより、スパースネットワークを抽出できることを示した。 本稿では、この層分布のいくつかを復元し、LTHを重み値として一般化する手段について述べる。 再現可能なトレーニング手順が与えられた場合、異なる重要なメトリクスを適用すると、重複する接続が少なく、異なるパフォーマンスの宝くじが現れる。
• 参考スコア（独自算出の注目度）: 0.651722296019499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lottery Ticket Hypothesis (LTH) showed that by iteratively training a model, removing connections with the lowest global weight magnitude and rewinding the remaining connections, sparse networks can be extracted. This global comparison removes context information between connections within a layer. Here we study means for recovering some of this layer distributional context and generalise the LTH to consider weight importance values rather than global weight magnitudes. We find that given a repeatable training procedure, applying different importance metrics leads to distinct performant lottery tickets with little overlapping connections. This strongly suggests that lottery tickets are not unique
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、モデルを反復的に訓練し、最も低い大域重量級の接続を除去し、残りの接続を巻き戻すことにより、スパースネットワークを抽出できることを示した。 このグローバル比較は、レイヤ内のコネクション間のコンテキスト情報を除去する。 本稿では、この層分布のいくつかを復元し、LTHを大域重大ではなく重み重み重み重み重み値に一般化する手段について述べる。 繰り返し行われるトレーニングの手順により、異なる重要なメトリクスを適用すると、重複する接続が少なく、異なるパフォーマンスの宝くじが現れる。 これは宝くじがユニークでないことを強く示唆している

関連論文リスト

• Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis [0.0]
  この論文は、LTH(Lottery Ticket hypothesis)に焦点を当てている。 LTHは、広範なディープニューラルネットワーク(DNN)内では、より小さく、トレーニング可能な「勝利チケット」が、フルモデルに匹敵するパフォーマンスを達成することができると提案している。 LTHにおける重要なプロセスであるイテレーティブ・マグニチュード・プルーニング(IMP)は、最小限の重みを徐々に排除し、DNNにおける段階的な学習をエミュレートする。 言い換えれば、ある特定の問題に対してうまく機能する当選券が、他の同様の問題にも有効であるかどうかを確認する。
  論文  参考訳（メタデータ） (2023-08-06T14:36:57Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective [89.19516919095904]
  1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。 我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。 ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
  論文  参考訳（メタデータ） (2021-10-07T06:50:16Z)
• Communication-Efficient and Personalized Federated Lottery Ticket Learning [44.593986790651805]
  宝くじ仮説では、ディープニューラルネットワーク(すなわちグラウンドネットワーク)には多数のワークス(すなわち当選チケット)が含まれていると主張している。 通信効率向上のためにダウンリンクブロードキャストを利用したパーソナライズされたコミュニケーション効率の高いフェデレーション宝くじ学習アルゴリズムCELLを提案します。
  論文  参考訳（メタデータ） (2021-04-26T12:01:41Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
  ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
  論文  参考訳（メタデータ） (2021-02-19T14:49:46Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• The Lottery Ticket Hypothesis for Object Recognition [39.186511997089575]
  Lottery Ticket Hypothesisは、大規模なデータセットで訓練されたディープネットワークには、高密度ネットワークと同等のパフォーマンスを実現する小さなニューラルネットワークが含まれていると述べている。 性能低下を招くことなく、異なるサブタスクに対して最大80%の間隔で宝くじを探す方法に関するガイダンスを提供する。
  論文  参考訳（メタデータ） (2020-12-08T18:59:13Z)
• The Lottery Ticket Hypothesis for Pre-trained BERT Networks [137.99328302234338]
  自然言語処理(NLP)では、BERTのような巨大な事前学習モデルがトレーニングの標準出発点となっている。 並行して、抽選券仮説の研究により、NLPとコンピュータビジョンのモデルには、完全精度で個別にトレーニングできる小さなマッチングワークが含まれていることが示されている。 これらの観測と組み合わせて、トレーニング済みのBERTモデルにそのようなトレーニング可能なトランスファーブルワークが存在するかどうかを評価する。
  論文  参考訳（メタデータ） (2020-07-23T19:35:39Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。