論文の概要: BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks

• arxiv url: http://arxiv.org/abs/2505.09864v1
• Date: Thu, 15 May 2025 00:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.143588
• Title: BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks
• Title（参考訳）: BINGO: ニューラルネットワークのサイズを縮小する新しいプルーニング機構
• Authors: Aditya Panangat,
• Abstract要約: 反復等級プルーニング(英語版)のようなモデルのプルークに使用される現在の手法は、非常に正確であるが、信じられないほど計算的かつ環境的に課税される反復的な訓練シーケンスを必要とする。 BINGOは、現在の方法よりも計算集約性が低い精度保存プルーニング技術を提供しており、AIの成長がモデルの成長を意味する必要がない世界も実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, the use of machine learning has increased exponentially. Models are far more complex than ever before, growing to gargantuan sizes and housing millions of weights. Unfortunately, the fact that large models have become the state of the art means that it often costs millions of dollars to train and operate them. These expenses not only hurt companies but also bar non-wealthy individuals from contributing to new developments and force consumers to pay greater prices for AI. Current methods used to prune models, such as iterative magnitude pruning, have shown great accuracy but require an iterative training sequence that is incredibly computationally and environmentally taxing. To solve this problem, BINGO is introduced. BINGO, during the training pass, studies specific subsets of a neural network one at a time to gauge how significant of a role each weight plays in contributing to a network's accuracy. By the time training is done, BINGO generates a significance score for each weight, allowing for insignificant weights to be pruned in one shot. BINGO provides an accuracy-preserving pruning technique that is less computationally intensive than current methods, allowing for a world where AI growth does not have to mean model growth, as well.
• Abstract（参考訳）: 過去10年間で、機械学習の利用は指数関数的に増加した。 モデルはこれまでになく複雑で、ガーガントゥアンサイズに成長し、何百万もの重量を収容している。 残念ながら、大きなモデルが最先端のモデルになったという事実は、トレーニングと運用に数百万ドルもすることが多いことを意味している。 これらの費用は企業を傷つけるだけでなく、非健康な個人が新しい開発に貢献することを禁じ、消費者にAIの価格をもっと高めるよう強制する。 反復等級プルーニング(英語版)のようなモデルのプルークに使用される現在の手法は、非常に正確であるが、信じられないほど計算的かつ環境的に課税される反復的な訓練シーケンスを必要とする。 この問題を解決するため、BINGOが導入された。 トレーニングパスの間、BINGOはニューラルネットワークの特定のサブセットを一度に研究し、各ウェイトがネットワークの精度にどの程度寄与するかを計測する。 トレーニングが完了するまでに、BINGOは各重みの重要度スコアを生成し、重要な重みを1ショットで刈り取ることができる。 BINGOは、現在の方法よりも計算集約性が低い精度保存プルーニング技術を提供しており、AIの成長がモデルの成長を意味する必要がない世界も実現している。

関連論文リスト

• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Generative Modeling of Weights: Generalization or Memorization? [5.365909921563036]
  効率的なニューラルネットワークの重み付けのために生成モデルが検討されている。 本研究では,新しいモデル重みを生成できる4つの手法について検討する。 これらの手法は主として記憶によって重みを合成する。
  論文  参考訳（メタデータ） (2025-06-09T17:58:36Z)
• Training of Physical Neural Networks [16.832505972118646]
  物理ニューラルネットワーク(PNN)は、物理系の特性を利用して計算を行うニューラルネットワークである。 PNNはいつか、AIシステムで何が可能で実用的なのかを根本的に変えるかもしれない。 大規模にPNNを訓練するために、バックプロパゲーションベースやバックプロパゲーションフリーアプローチを含む多くの手法が検討されている。
  論文  参考訳（メタデータ） (2024-06-05T15:28:04Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.5148788595166205]
  本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。 私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
  論文  参考訳（メタデータ） (2023-11-13T08:18:44Z)
• MixtureGrowth: Growing Neural Networks by Recombining Learned Parameters [19.358670728803336]
  ほとんどのディープニューラルネットワークは、固定されたネットワークアーキテクチャの下でトレーニングされており、アーキテクチャの変更時に再トレーニングを必要とする。 これを回避するために、時間とともにランダムな重みを加えて小さなネットワークから成長させ、徐々にターゲットネットワークサイズを達成できる。 このナイーブなアプローチは、成長するプロセスに多くのノイズをもたらすため、実際には不足しています。
  論文  参考訳（メタデータ） (2023-11-07T11:37:08Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。