論文の概要: On the Existence of Universal Lottery Tickets

• arxiv url: http://arxiv.org/abs/2111.11146v1
• Date: Mon, 22 Nov 2021 12:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 13:27:43.296310
• Title: On the Existence of Universal Lottery Tickets
• Title（参考訳）: ユニバーサル・ロテリ・チケットの存在について
• Authors: Rebekka Burkholz, Nilanjana Laha, Rajarshi Mukherjee, Alkis Gotovos
• Abstract要約: 宝くじの仮説は、独立して訓練できる大きなランダムなディープニューラルネットワークのスパースワークの存在を推測する。 最近の研究は、これらのチケットのいくつかが様々なタスクで実際に再利用可能であることを実験的に観察し、ある種の普遍性を示唆している。 我々はこの概念を定式化し、そのような普遍的なチケットが存在するだけでなく、さらなる訓練も必要としていないことを理論的に証明する。
• 参考スコア（独自算出の注目度）: 2.5234156040689237
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The lottery ticket hypothesis conjectures the existence of sparse subnetworks of large randomly initialized deep neural networks that can be successfully trained in isolation. Recent work has experimentally observed that some of these tickets can be practically reused across a variety of tasks, hinting at some form of universality. We formalize this concept and theoretically prove that not only do such universal tickets exist but they also do not require further training. Our proofs introduce a couple of technical innovations related to pruning for strong lottery tickets, including extensions of subset sum results and a strategy to leverage higher amounts of depth. Our explicit sparse constructions of universal function families might be of independent interest, as they highlight representational benefits induced by univariate convolutional architectures.
• Abstract（参考訳）: 宝くじの仮説は、独立して訓練できる大きなランダムに初期化されたディープニューラルネットワークのスパースサブネットワークの存在を推測するものである。 最近の研究は、これらのチケットのいくつかが様々なタスクで実際に再利用可能であることを実験的に観察し、ある種の普遍性を示唆している。 我々はこの概念を定式化し、そのような普遍的なチケットが存在するだけでなく、さらなる訓練も必要としていないことを理論的に証明する。 本証明では, 抽選チケットのプルーニングに関する技術革新がいくつか導入され, サブセット和の結果の拡張や, 高い深度を活用できる戦略が紹介されている。 普遍関数ファミリーの明示的なスパース構造は、ユニバリケートな畳み込みアーキテクチャによって引き起こされる表現的利益を強調するため、独立した関心を持つかもしれない。

関連論文リスト

• Iterative Magnitude Pruning as a Renormalisation Group: A Study in The Context of The Lottery Ticket Hypothesis [0.0]
  この論文は、LTH(Lottery Ticket hypothesis)に焦点を当てている。 LTHは、広範なディープニューラルネットワーク(DNN)内では、より小さく、トレーニング可能な「勝利チケット」が、フルモデルに匹敵するパフォーマンスを達成することができると提案している。 LTHにおける重要なプロセスであるイテレーティブ・マグニチュード・プルーニング(IMP)は、最小限の重みを徐々に排除し、DNNにおける段階的な学習をエミュレートする。 言い換えれば、ある特定の問題に対してうまく機能する当選券が、他の同様の問題にも有効であるかどうかを確認する。
  論文  参考訳（メタデータ） (2023-08-06T14:36:57Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Convolutional and Residual Networks Provably Contain Lottery Tickets [6.68999512375737]
  Lottery Ticket仮説は、競争力のあるパフォーマンスで現代のディープラーニングタスクを解決するディープニューラルネットワークの探求に、依然として重大な実践的影響を与えている。 ほぼ任意のアクティベーション機能を備えた畳み込み層と残留層からなる現代建築でも、高い確率で宝くじを格納できることを示す。
  論文  参考訳（メタデータ） (2022-05-04T22:20:01Z)
• Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
  ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。 本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。 具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
  論文  参考訳（メタデータ） (2022-02-09T21:33:51Z)
• Towards strong pruning for lottery tickets with non-zero biases [6.85316573653194]
  宝くじの仮説は、ランダムに深いニューラルネットワークをプルーニングすることで、ディープラーニングに代わる効率的な代替手段が提供されることを約束している。 共通パラメータスキームと存在証明は、勾配バイアスがゼロのネットワークに焦点を当てている。 我々はこれらのスキームと存在証明を非ゼロバイアスに拡張し、ReLUアクティベーション関数に対する明示的な 'looks-linear' アプローチを含む。
  論文  参考訳（メタデータ） (2021-10-21T13:56:04Z)
• Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective [89.19516919095904]
  1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。 我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。 ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
  論文  参考訳（メタデータ） (2021-10-07T06:50:16Z)
• Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win [20.97456178983006]
  宝くじの仮説では、スパースワークはランダムに密集したネットワークに存在し、密集したネットワークと同じ精度でトレーニングすることができる。 線形モード接続に関して安定なトレーニング手法を用いることで、大規模なネットワークを初期化に完全に巻き戻すことができることを示す。
  論文  参考訳（メタデータ） (2021-06-13T10:06:06Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。