論文の概要: Efficient Multi-Prize Lottery Tickets: Enhanced Accuracy, Training, and Inference Speed

• arxiv url: http://arxiv.org/abs/2209.12839v1
• Date: Mon, 26 Sep 2022 16:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 14:46:59.461014
• Title: Efficient Multi-Prize Lottery Tickets: Enhanced Accuracy, Training, and Inference Speed
• Title（参考訳）: 効率的なマルチプライズ抽選券:精度、トレーニング、推論速度の向上
• Authors: Hao Cheng, Pu Zhao, Yize Li, Xue Lin, James Diffenderfer, Ryan Goldhahn, and Bhavya Kailkhura
• Abstract要約: DiffenderferとKailkhuraは、ランダムに重み付けされた完全精度ニューラルネットワークをプルーニングして量子化するだけで、コンパクトで高精度なバイナリニューラルネットワークを学習するための新しいパラダイムを提案した。 これらのマルチプライズチケット(MPT)の精度は最適プルー比に非常に敏感であり、適用性が制限される。 本稿では,これらの制限を克服するためのいくつかの改善点について論じる。
• 参考スコア（独自算出の注目度）: 39.434714366043465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Diffenderfer and Kailkhura proposed a new paradigm for learning compact yet highly accurate binary neural networks simply by pruning and quantizing randomly weighted full precision neural networks. However, the accuracy of these multi-prize tickets (MPTs) is highly sensitive to the optimal prune ratio, which limits their applicability. Furthermore, the original implementation did not attain any training or inference speed benefits. In this report, we discuss several improvements to overcome these limitations. We show the benefit of the proposed techniques by performing experiments on CIFAR-10.
• Abstract（参考訳）: 最近、diffenderferとkailkhuraは、ランダムに重み付けされた完全精度ニューラルネットワークをプラニングして量子化することによって、コンパクトで高精度なバイナリニューラルネットワークを学習するための新しいパラダイムを提案した。 しかし、これらのマルチプライズチケット(MPT)の精度は、適用性を制限する最適プーン比に非常に敏感である。 さらに、オリジナルの実装ではトレーニングや推論速度のメリットは得られなかった。 本稿では,これらの制限を克服するためのいくつかの改善点について論じる。 CIFAR-10の実験により提案手法の利点を示す。

関連論文リスト

• Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits [9.361762652324968]
  適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。 本稿では,ニューラルネットワークの学習速度を調整するためのLipschitz bandit-drivenアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-15T16:21:55Z)
• Jacobian-Enhanced Neural Networks [0.0]
  ヤコビアン強化ニューラルネットワーク(JENN)は密結合多層パーセプトロンである。 JENNの主な利点は、標準のニューラルネットワークに比べてトレーニングポイントが少なくて精度が良いことである。
  論文  参考訳（メタデータ） (2024-06-13T14:04:34Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Boost Neural Networks by Checkpoints [9.411567653599358]
  本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。 同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
  論文  参考訳（メタデータ） (2021-10-03T09:14:15Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Improving Layer-wise Adaptive Rate Methods using Trust Ratio Clipping [13.589484139527466]
  大規模なバッチトレーニングは、トレーニング時間を大幅に削減するが、正確性を維持するには困難である。 近年, LARS や LAMB などの最適化手法が提案されている。 LAMBCと呼ばれるLAMBの新たな変種を提案する。LAMBCは,その大きさを安定させ,極端な値を防止するために,信頼率クリッピングを利用する。
  論文  参考訳（メタデータ） (2020-11-27T07:20:08Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。