論文の概要: BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks

• arxiv url: http://arxiv.org/abs/2505.09864v2
• Date: Fri, 16 May 2025 17:16:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 12:32:17.911853
• Title: BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks
• Title（参考訳）: BINGO: ニューラルネットワークのサイズを縮小する新しいプルーニング機構
• Authors: Aditya Panangat,
• Abstract要約: 反復等級プルーニング(英語版)のようなモデルのプルークに使用される現在の手法は、非常に正確であるが、信じられないほど計算的かつ環境的に課税される反復的な訓練シーケンスを必要とする。 BINGOは、現在の方法よりも計算集約性が低い精度保存プルーニング技術を提供しており、AIの成長がモデルの成長を意味する必要がない世界も実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, the use of machine learning has increased exponentially. Models are far more complex than ever before, growing to gargantuan sizes and housing millions of weights. Unfortunately, the fact that large models have become the state of the art means that it often costs millions of dollars to train and operate them. These expenses not only hurt companies but also bar non-wealthy individuals from contributing to new developments and force consumers to pay greater prices for AI. Current methods used to prune models, such as iterative magnitude pruning, have shown great accuracy but require an iterative training sequence that is incredibly computationally and environmentally taxing. To solve this problem, BINGO is introduced. BINGO, during the training pass, studies specific subsets of a neural network one at a time to gauge how significant of a role each weight plays in contributing to a network's accuracy. By the time training is done, BINGO generates a significance score for each weight, allowing for insignificant weights to be pruned in one shot. BINGO provides an accuracy-preserving pruning technique that is less computationally intensive than current methods, allowing for a world where AI growth does not have to mean model growth, as well.
• Abstract（参考訳）: 過去10年間で、機械学習の利用は指数関数的に増加した。 モデルはこれまでになく複雑で、ガーガントゥアンサイズに成長し、何百万もの重量を収容している。 残念ながら、大きなモデルが最先端のモデルになったという事実は、トレーニングと運用に数百万ドルもすることが多いことを意味している。 これらの費用は企業を傷つけるだけでなく、非健康な個人が新しい開発に貢献することを禁じ、消費者にAIの価格をもっと高めるよう強制する。 反復等級プルーニング(英語版)のようなモデルのプルークに使用される現在の手法は、非常に正確であるが、信じられないほど計算的かつ環境的に課税される反復的な訓練シーケンスを必要とする。 この問題を解決するため、BINGOが導入された。 トレーニングパスの間、BINGOはニューラルネットワークの特定のサブセットを一度に研究し、各ウェイトがネットワークの精度にどの程度寄与するかを計測する。 トレーニングが完了するまでに、BINGOは各重みの重要度スコアを生成し、重要な重みを1ショットで刈り取ることができる。 BINGOは、現在の方法よりも計算集約性が低い精度保存プルーニング技術を提供しており、AIの成長がモデルの成長を意味する必要がない世界も実現している。

関連論文リスト

• Training of Physical Neural Networks [16.832505972118646]
  物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
  論文  参考訳（メタデータ） (2024-06-05T15:28:04Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.5148788595166205]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。