Fugu-MT 論文翻訳(概要): Data-dependent Pruning to find the Winning Lottery Ticket

論文の概要: Data-dependent Pruning to find the Winning Lottery Ticket

arxiv url: http://arxiv.org/abs/2006.14350v1
Date: Thu, 25 Jun 2020 12:48:34 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 03:13:09.703647
Title: Data-dependent Pruning to find the Winning Lottery Ticket
Title（参考訳）: データ依存型プルーニングによるウィンニングロッテリチケットの探索
Authors: D\'aniel L\'evai and Zsolt Zombori
Abstract要約: Lottery Ticket仮説は、新しいニューラルネットワークには、完全なネットワークと同じようなパフォーマンスを達成するためにトレーニング可能な、小さなサブネットワークが含まれている、と仮定する。我々は、データ依存コンポーネントをプルーニング基準に組み込むことで、既存のプルーニングアルゴリズムの性能を一貫して向上させると結論付けた。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The Lottery Ticket Hypothesis postulates that a freshly initialized neural network contains a small subnetwork that can be trained in isolation to achieve similar performance as the full network. Our paper examines several alternatives to search for such subnetworks. We conclude that incorporating a data dependent component into the pruning criterion in the form of the gradient of the training loss -- as done in the SNIP method -- consistently improves the performance of existing pruning algorithms.
Abstract（参考訳）: Lottery Ticket仮説は、新しい初期化ニューラルネットワークには、完全なネットワークと同じようなパフォーマンスを達成するために、独立してトレーニング可能な小さなサブネットワークが含まれていることを仮定している。本稿では,このようなサブネットワークの探索方法について検討する。 SNIP法のように、トレーニング損失の勾配の形でプルーニング基準にデータ依存コンポーネントを組み込むことで、既存のプルーニングアルゴリズムの性能が一貫して向上する、と結論付けている。

関連論文リスト

Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks [10.48836159692231]
我々は宝くじを弾くための新しい方法のクラスを提案する。鍵となる点は、緩和された二元マスクの空間性を促進するために凹凸正則化を使うことである。提案手法は,最先端のアルゴリズムの性能を向上させることができることを示す。
論文参考訳（メタデータ） (2025-01-19T18:05:13Z)
Sparsest Models Elude Pruning: An Exposé of Pruning's Current Capabilities [4.842973374883628]
プルーニングは大規模モデルを圧縮するための有望なアプローチとして現れてきたが、モデルの範囲を回復する効果はまだ検討されていない。我々は485,838の実験を行い、キュビストスパイラルと名付けられた合成データセットに最先端のプルーニングアルゴリズムを適用した。そこで本研究では,新たな探索アルゴリズムによって同定した,理想的なスパースネットワークと比較して,性能の差が顕著であった。
論文参考訳（メタデータ） (2024-07-04T17:33:15Z)
Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
論文参考訳（メタデータ） (2023-06-29T14:04:24Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文参考訳（メタデータ） (2022-07-21T08:16:31Z)
Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文参考訳（メタデータ） (2022-03-08T18:06:26Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot [55.37967301483917]
従来のプルーニングアルゴリズムの知恵は、プルーニング手法がトレーニングデータから情報を利用して良い作品を見つけることを示唆している。本稿では,近年の非構造的刈り取り法について,上記の信念の正当性チェックを行う。本稿では,各層に対して単純なデータに依存しないプーン比を提案し,サブネットワークを得るために各層をランダムにプーンする。
論文参考訳（メタデータ） (2020-09-22T17:36:17Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
論文参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。