論文の概要: Plant 'n' Seek: Can You Find the Winning Ticket?

• arxiv url: http://arxiv.org/abs/2111.11153v1
• Date: Mon, 22 Nov 2021 12:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:02:24.911709
• Title: Plant 'n' Seek: Can You Find the Winning Ticket?
• Title（参考訳）: Plant 'n' Seek: 勝利のチケットは見つけられるか?
• Authors: Jonas Fischer, Rebekka Burkholz
• Abstract要約: 宝くじの仮説は、構造学習を行うプルーニングアルゴリズムの急速な発展を引き起こした。 我々は、非常に疎いネットワークトポロジを手作りし、それらを大きなニューラルネットワークに植え込み、最先端の宝くじ改札方法を評価する。
• 参考スコア（独自算出の注目度）: 6.85316573653194
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The lottery ticket hypothesis has sparked the rapid development of pruning algorithms that perform structure learning by identifying a sparse subnetwork of a large randomly initialized neural network. The existence of such 'winning tickets' has been proven theoretically but at suboptimal sparsity levels. Contemporary pruning algorithms have furthermore been struggling to identify sparse lottery tickets for complex learning tasks. Is this suboptimal sparsity merely an artifact of existence proofs and algorithms or a general limitation of the pruning approach? And, if very sparse tickets exist, are current algorithms able to find them or are further improvements needed to achieve effective network compression? To answer these questions systematically, we derive a framework to plant and hide target architectures within large randomly initialized neural networks. For three common challenges in machine learning, we hand-craft extremely sparse network topologies, plant them in large neural networks, and evaluate state-of-the-art lottery ticket pruning methods. We find that current limitations of pruning algorithms to identify extremely sparse tickets are likely of algorithmic rather than fundamental nature and anticipate that our planting framework will facilitate future developments of efficient pruning algorithms, as we have addressed the issue of missing baselines in the field raised by Frankle et al.
• Abstract（参考訳）: 抽選切符仮説は、大きなランダム初期化ニューラルネットワークのスパースサブネットワークを識別することで構造学習を行うプラニングアルゴリズムの急速な発展を促した。 このような「勝利チケット」の存在は理論的には証明されているが、準最適スパルシティレベルである。 現代のプルーニングアルゴリズムはさらに、複雑な学習タスクのための粗末な宝くじの識別に苦戦している。 この最適部分空間は、単に存在証明やアルゴリズムの人工物なのか、それともプルーニングアプローチの一般的な制限なのか? そして、非常に少ないチケットが存在する場合、現在のアルゴリズムはそれらを見つけることができるか、あるいは効果的なネットワーク圧縮を達成するためにさらなる改善が必要か? これらの疑問に体系的に答えるために、大規模でランダムに初期化されたニューラルネットワーク内にターゲットアーキテクチャを配置し、隠蔽する枠組みを導出する。 機械学習における3つの一般的な課題に対して、我々は非常に疎いネットワークトポロジを手作りし、それらを大きなニューラルネットワークに植え込み、最先端の宝くじ改札方法を評価する。 非常にスパースなチケットを識別するプルーニングアルゴリズムの現在の限界は、基本的な性質よりもアルゴリズム的なものであり、Frankleらによって提起された分野において欠落したベースラインの問題に対処するため、我々のプランニングフレームワークが効率的なプルーニングアルゴリズムの今後の開発を促進することを期待している。

関連論文リスト

• Finding Strong Lottery Ticket Networks with Genetic Algorithms [3.1267592104279776]
  Strong Lottery Ticket仮説によると、ランダムな重みを持つ十分に大きなニューラルネットワークには、トレーニングされたスーパーネットワークと同様に、与えられたタスクのために既に機能しているサブネットワークが含まれている。 遺伝的アルゴリズムをベースとしたアプローチとして,トレーニングや勾配計算を行わずに,このような強力な宝くじのサブネットワークを見つける方法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T12:35:35Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• Rare Gems: Finding Lottery Tickets at Initialization [21.130411799740532]
  大規模なニューラルネットワークは、元のサイズのごく一部に切断することができる。 トレーニング可能なネットワークを見つけるための現在のアルゴリズムは、単純なベースライン比較に失敗する。 単純なベースラインよりも正確性を高めるために訓練する宝くじを見つけることは、未解決の問題である。
  論文  参考訳（メタデータ） (2022-02-24T10:28:56Z)
• Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets [127.56361320894861]
  ロッテリーチケット仮説 (LTH) は、密集したモデルには厳密なスパースワーク(すなわち当選チケット)が含まれており、完全な正確性に合わせるために単独で訓練できることを示した。 本稿では,構造的にスパースな入賞券が一般に有効に発見できるという,最初の肯定的な結果を示す。 具体的には、まず、重要と考えられるいくつかのチャネルで「再充填」された要素を返却し、次に非ゼロ要素を「再群」して、柔軟なグループ単位の構造パターンを作成します。
  論文  参考訳（メタデータ） (2022-02-09T21:33:51Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches? [1.701869491238765]
  オリジナルの抽選チケット仮説は、トレーニング収束後のプルーニングとウェイトリセットを実行する。 本稿では,ニューラルネットワーク構造探索とプルーニングアルゴリズムを併用してこの問題を緩和する戦略を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:22:00Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
  従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。 本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。 本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
  論文  参考訳（メタデータ） (2020-09-22T17:36:17Z)
• Pruning neural networks without any data by iteratively conserving synaptic flow [27.849332212178847]
  ディープニューラルネットワークのパラメータを抽出することは、時間、記憶、エネルギーの潜在的な節約によって、大きな関心を集めている。 近年の研究では、高価なトレーニングとプルーニングサイクルを通じて、当選した宝くじやスパーストレーナーブルワークスの存在が特定されている。 我々は、理論駆動型アルゴリズム設計を通じて、この問題に対する肯定的な回答を提供する。
  論文  参考訳（メタデータ） (2020-06-09T19:21:57Z)
• NeuroFabric: Identifying Ideal Topologies for Training A Priori Sparse Networks [2.398608007786179]
  ディープニューラルネットワークの長いトレーニング時間は、機械学習研究のボトルネックである。 層内トポロジーの選択に関する理論的基礎を提供する。 類似したトポロジが達成可能な精度に大きな差があることがよく示される。
  論文  参考訳（メタデータ） (2020-02-19T18:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。