論文の概要: Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective

• arxiv url: http://arxiv.org/abs/2110.03210v1
• Date: Thu, 7 Oct 2021 06:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-09 05:19:44.017836
• Title: Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective
• Title（参考訳）: ディープニューラルネットワーク抽選券の普遍性:再正規化グループ視点
• Authors: William T. Redman, Tianlong Chen, Akshunna S. Dogra, Zhangyang Wang
• Abstract要約: 1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。 我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。 ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
• 参考スコア（独自算出の注目度）: 89.19516919095904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundational work on the Lottery Ticket Hypothesis has suggested an exciting corollary: winning tickets found in the context of one task can be transferred to similar tasks, possibly even across different architectures. While this has become of broad practical and theoretical interest, to date, there exists no detailed understanding of why winning ticket universality exists, or any way of knowing \textit{a priori} whether a given ticket can be transferred to a given task. To address these outstanding open questions, we make use of renormalization group theory, one of the most successful tools in theoretical physics. We find that iterative magnitude pruning, the method used for discovering winning tickets, is a renormalization group scheme. This opens the door to a wealth of existing numerical and theoretical tools, some of which we leverage here to examine winning ticket universality in large scale lottery ticket experiments, as well as sheds new light on the success iterative magnitude pruning has found in the field of sparse machine learning.
• Abstract（参考訳）: Lottery Ticket仮説に関する基礎的な研究は、エキサイティングな概要を示唆している。あるタスクのコンテキストで見られる勝利チケットは、おそらく異なるアーキテクチャにわたって、同様のタスクに転送できる。 これは広く実用的、理論的な関心事となっているが、これまで、チケットの普遍性になぜ勝っているのか、あるいは与えられたチケットが与えられたタスクに転送できるかどうかを知る方法に関する詳細な理解は存在しない。 これらの未解決な問題に対処するために、我々は理論物理学で最も成功したツールの1つである再正規化群理論を利用する。 入賞チケットの発見に使用される反復等級プルーニングは,再正規化グループスキームであることがわかった。 これは、既存の数値的、理論的なツールの豊富な扉を開き、私たちは、大規模な宝くじ実験で入賞チケットの普遍性を調べるのに、またスパース機械学習の分野における成功の反復的な大きさのプルーニングに新たな光を当てている。

関連論文リスト

• Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis [0.0]
  この論文は、LTH(Lottery Ticket hypothesis)に焦点を当てている。 LTHは、広範なディープニューラルネットワーク(DNN)内では、より小さく、トレーニング可能な「勝利チケット」が、フルモデルに匹敵するパフォーマンスを達成することができると提案している。 LTHにおける重要なプロセスであるイテレーティブ・マグニチュード・プルーニング(IMP)は、最小限の重みを徐々に排除し、DNNにおける段階的な学習をエミュレートする。 言い換えれば、ある特定の問題に対してうまく機能する当選券が、他の同様の問題にも有効であるかどうかを確認する。
  論文  参考訳（メタデータ） (2023-08-06T14:36:57Z)
• Convolutional and Residual Networks Provably Contain Lottery Tickets [6.68999512375737]
  Lottery Ticket仮説は、競争力のあるパフォーマンスで現代のディープラーニングタスクを解決するディープニューラルネットワークの探求に、依然として重大な実践的影響を与えている。 ほぼ任意のアクティベーション機能を備えた畳み込み層と残留層からなる現代建築でも、高い確率で宝くじを格納できることを示す。
  論文  参考訳（メタデータ） (2022-05-04T22:20:01Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• On the Existence of Universal Lottery Tickets [2.5234156040689237]
  宝くじの仮説は、独立して訓練できる大きなランダムなディープニューラルネットワークのスパースワークの存在を推測する。 最近の研究は、これらのチケットのいくつかが様々なタスクで実際に再利用可能であることを実験的に観察し、ある種の普遍性を示唆している。 我々はこの概念を定式化し、そのような普遍的なチケットが存在するだけでなく、さらなる訓練も必要としていないことを理論的に証明する。
  論文  参考訳（メタデータ） (2021-11-22T12:12:00Z)
• You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
  論文  参考訳（メタデータ） (2021-10-30T03:38:38Z)
• Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot? [90.50740705956638]
  主要なDNNアーキテクチャおよび/またはアプリケーションに勝利のチケットが存在するかどうかを明らかにするための具体的な証拠を示す。 学習率や学習エポックといった重要なトレーニングハイパーパラメータは,それぞれ,優勝チケットを特定できるかどうかと高い相関関係があることが判明した。
  論文  参考訳（メタデータ） (2021-07-01T01:27:07Z)
• Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win [20.97456178983006]
  宝くじの仮説では、スパースワークはランダムに密集したネットワークに存在し、密集したネットワークと同じ精度でトレーニングすることができる。 線形モード接続に関して安定なトレーニング手法を用いることで、大規模なネットワークを初期化に完全に巻き戻すことができることを示す。
  論文  参考訳（メタデータ） (2021-06-13T10:06:06Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Winning Lottery Tickets in Deep Generative Models [64.79920299421255]
  本稿では,GANやVAEなどの深層生成モデルにおいて,入賞チケットの存在を示す。 また、異なる生成モデル間での当選チケットの転送可能性を示す。
  論文  参考訳（メタデータ） (2020-10-05T21:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。