Fugu-MT 論文翻訳(概要): Not All Lotteries Are Made Equal

論文の概要: Not All Lotteries Are Made Equal

arxiv url: http://arxiv.org/abs/2206.08175v1
Date: Thu, 16 Jun 2022 13:41:36 GMT
ステータス: 処理完了
システム内更新日: 2022-06-18 01:16:08.729535
Title: Not All Lotteries Are Made Equal
Title（参考訳）: すべての宝くじが等しくされるわけではない
Authors: Surya Kant Sahu, Sai Mitheran, Somya Suhans Mahapatra
Abstract要約: 本研究は, モデルサイズとこれらのスパースサブネットワークの発見容易性の関係について検討する。意外なことに、有限の予算の下では、小さなモデルの方がTicket Search(TS)の恩恵を受けることを示す実験を通して示します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The Lottery Ticket Hypothesis (LTH) states that for a reasonably sized neural network, a sub-network within the same network yields no less performance than the dense counterpart when trained from the same initialization. This work investigates the relation between model size and the ease of finding these sparse sub-networks. We show through experiments that, surprisingly, under a finite budget, smaller models benefit more from Ticket Search (TS).
Abstract（参考訳）: Lottery Ticket仮説(LTH)は、合理的な大きさのニューラルネットワークの場合、同じネットワーク内のサブネットワークは、同じ初期化からトレーニングされた場合、高密度のネットワークよりもパフォーマンスが劣る、と述べている。本研究は, モデルサイズとこれらのスパースサブネットワークの発見容易性の関係について検討する。有限予算下では、小さなモデルの方がチケット検索(ts)の恩恵を受ける実験を通した。

関連論文リスト

On the Sparsity of the Strong Lottery Ticket Hypothesis [8.47014750905382]
最近の研究で、任意のニューラルネットワークを正確に近似できるランダムニューラルネットワークの$N$ containsworksが示されている。古典的セッティングにおけるStrong Lottery Ticket仮説の最初の証明を提供する。
論文参考訳（メタデータ） (2024-10-18T06:57:37Z)
Successfully Applying Lottery Ticket Hypothesis to Diffusion Model [15.910383121581065]
Lottery Ticket仮説は、独立してトレーニングされた場合、元の高密度ニューラルネットワークと競合するパフォーマンスを達成するための勝利チケットが存在すると主張している。ベンチマーク上で拡散確率モデルをデノベートするための性能を損なうことなく、スパーシティの90%～99%でワークスを実証的に発見する。本手法では,ストレージの少ないスペーサーサブモデルを見つけることができ,FLOPの数を削減できる。
論文参考訳（メタデータ） (2023-10-28T21:09:50Z)
Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文参考訳（メタデータ） (2022-03-08T18:06:26Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
The Elastic Lottery Ticket Hypothesis [106.79387235014379]
Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
論文参考訳（メタデータ） (2021-03-30T17:53:45Z)
Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
論文参考訳（メタデータ） (2021-02-19T14:49:46Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
論文参考訳（メタデータ） (2020-03-06T03:11:52Z)
Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
論文参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。