Fugu-MT 論文翻訳(概要): Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks

論文の概要: Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks

arxiv url: http://arxiv.org/abs/2202.11782v1
Date: Wed, 23 Feb 2022 20:53:54 GMT
ステータス: 処理完了
システム内更新日: 2022-02-26 08:48:10.651163
Title: Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks
Title（参考訳）: pruneとtuneアンサンブル:スパース独立サブネットワークを用いた低コストアンサンブル学習
Authors: Tim Whitaker, Darrell Whitley
Abstract要約: 我々は、スクラッチから複数のモデルを訓練することなく、多様なニューラルネットワークのアンサンブルを生成する、高速で低コストな方法を紹介した。親のクローンを作成し、各子のパラメータを劇的に刈り上げ、ユニークな多様なトポロジを持つメンバのアンサンブルを作成します。この多様性により、"Prune and Tune"アンサンブルは、トレーニングコストのごく一部で従来のアンサンブルと競合する結果を達成することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Ensemble Learning is an effective method for improving generalization in machine learning. However, as state-of-the-art neural networks grow larger, the computational cost associated with training several independent networks becomes expensive. We introduce a fast, low-cost method for creating diverse ensembles of neural networks without needing to train multiple models from scratch. We do this by first training a single parent network. We then create child networks by cloning the parent and dramatically pruning the parameters of each child to create an ensemble of members with unique and diverse topologies. We then briefly train each child network for a small number of epochs, which now converge significantly faster when compared to training from scratch. We explore various ways to maximize diversity in the child networks, including the use of anti-random pruning and one-cycle tuning. This diversity enables "Prune and Tune" ensembles to achieve results that are competitive with traditional ensembles at a fraction of the training cost. We benchmark our approach against state of the art low-cost ensemble methods and display marked improvement in both accuracy and uncertainty estimation on CIFAR-10 and CIFAR-100.
Abstract（参考訳）: アンサンブル学習は、機械学習の一般化を改善する効果的な方法である。しかし、最先端のニューラルネットワークが大きくなるにつれて、複数の独立したネットワークのトレーニングに伴う計算コストは高価になる。複数のモデルをスクラッチからトレーニングすることなく、ニューラルネットワークの多様なアンサンブルを作成するための高速で低コストな手法を提案する。まず、単一の親ネットワークをトレーニングします。次に、親をクローニングし、各子のパラメータを劇的に刈り取って、ユニークで多様なトポロジを持つメンバーのアンサンブルを作成することで、子ネットワークを作成する。その後,少人数の子供ネットワークを短期間トレーニングし,スクラッチからのトレーニングに比べて大幅に高速化した。我々は,子どもネットワークにおける多様性を最大化するための様々な方法を検討した。この多様性により、"Prune and Tune"アンサンブルは、トレーニングコストのごく一部で従来のアンサンブルと競合する結果が得られる。 CIFAR-10 と CIFAR-100 の精度および不確実性評価の両面において, 低コストアンサンブル法の現状に対するアプローチのベンチマークを行った。

関連論文リスト

Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
論文参考訳（メタデータ） (2024-08-05T08:23:59Z)
Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。 4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
論文参考訳（メタデータ） (2024-05-24T15:34:09Z)
Neural Subnetwork Ensembles [2.44755919161855]
この論文は、Subnetwork Ensemblesを構築するための低コストのフレームワークを導入し、形式化する。児童ネットワークは、訓練された親モデルからのサンプリング、摂動、最適化によって形成される。その結果,本手法はトレーニング効率,パラメトリック利用,一般化性能を大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2023-11-23T17:01:16Z)
Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文参考訳（メタデータ） (2022-06-26T00:37:33Z)
Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文参考訳（メタデータ） (2022-02-20T15:52:08Z)
Efficient Diversity-Driven Ensemble for Deep Neural Networks [28.070540722925152]
アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。 EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
論文参考訳（メタデータ） (2021-12-26T04:28:47Z)
Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:57:51Z)
MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks [97.08677678499075]
マルチインプットマルチアウトプットディープワークを学ぶための新しいフレームワークであるMixMoを紹介します。機能、特にCutMixのパッチによるバイナリの混合は、ワークをより強く、より多様なものにすることによって、結果を向上します。実装が容易で、推論にコストがかかることに加えて、我々のモデルはよりコストの高いデータ拡張深層アンサンブルよりも優れています。
論文参考訳（メタデータ） (2021-03-10T15:31:02Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning [46.768185367275564]
BatchEnsembleは、一般的なアンサンブルよりも計算コストとメモリコストが大幅に低いアンサンブル法である。 BatchEnsembleは、典型的なアンサンブルとして、競争の正確さと不確実性をもたらすことを示す。また、生涯学習にBatchEnsembleを適用し、Split-CIFAR-100では、BatchEnsembleはプログレッシブニューラルネットワークと同等のパフォーマンスを得る。
論文参考訳（メタデータ） (2020-02-17T00:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。