論文の概要: Diluting Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2511.00648v1
• Date: Sat, 01 Nov 2025 18:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.876458
• Title: Diluting Restricted Boltzmann Machines
• Title（参考訳）: 拡張制限ボルツマンマシン
• Authors: C. Díaz-Faloh, R. Mulet,
• Abstract要約: 本稿では, 単純スペーサーネットワークが極端刈り込み条件下で高い性能を維持することができるかどうかを考察する。 Lottery Ticket仮説に触発されて, 最大80%の接続がトレーニング前に切断された場合でも, RBMが高品質な生成性能を達成できることを実証した。 本研究は, プルーニングが本質接続の最小限のコアを乱す場合, 生成品質が急激に低下する急激な遷移を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in artificial intelligence have relied heavily on increasingly large neural networks, raising concerns about their computational and environmental costs. This paper investigates whether simpler, sparser networks can maintain strong performance by studying Restricted Boltzmann Machines (RBMs) under extreme pruning conditions. Inspired by the Lottery Ticket Hypothesis, we demonstrate that RBMs can achieve high-quality generative performance even when up to 80% of the connections are pruned before training, confirming that they contain viable sub-networks. However, our experiments reveal crucial limitations: trained networks cannot fully recover lost performance through retraining once additional pruning is applied. We identify a sharp transition above which the generative quality degrades abruptly when pruning disrupts a minimal core of essential connections. Moreover, re-trained networks remain constrained by the parameters originally learned performing worse than networks trained from scratch at equivalent sparsity levels. These results suggest that for sparse networks to work effectively, pruning should be implemented early in training rather than attempted afterwards. Our findings provide practical insights for the development of efficient neural architectures and highlight the persistent influence of initial conditions on network capabilities.
• Abstract（参考訳）: 人工知能の最近の進歩は、ますます大きなニューラルネットワークに依存しており、その計算と環境コストに対する懸念を高めている。 本稿では,制限ボルツマンマシン(RBM)を極端刈り込み条件下で研究することで,より単純なスペーサーネットワークが強靭な性能を維持することができるかどうかを考察する。 Lottery Ticket仮説に触発されて、トレーニング前に最大80%の接続が切断された場合でも、RAMが高品質な生成性能を達成できることを示し、それらが実行可能なサブネットワークを含んでいることを確認した。 トレーニングされたネットワークは、追加プルーニングを適用すると、再トレーニングによって損失パフォーマンスを完全に回復することができない。 本研究は, プルーニングが本質接続の最小限のコアを乱す場合, 生成品質が急激に低下する急激な遷移を同定する。 さらに、再訓練されたネットワークは、当初、同等の空間レベルにおいてスクラッチからトレーニングされたネットワークよりも悪い性能で学習されたパラメータによって制約され続けている。 これらの結果は,スパースネットワークが効果的に機能するためには,その後の試みよりも早期の訓練を行う必要があることを示唆している。 本研究は,ネットワーク機能に対する初期条件の持続的影響を明らかにするとともに,効率的なニューラルアーキテクチャ開発のための実践的な洞察を提供する。

関連論文リスト

• Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
  静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。 解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
  論文  参考訳（メタデータ） (2025-06-20T17:54:24Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
  残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。 従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。 残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
  論文  参考訳（メタデータ） (2023-05-04T02:38:11Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• How much pre-training is enough to discover a good subnetwork? [10.699603774240853]
  刈り取られたネットワークが正常に動作するために必要となる高密度ネットワーク事前学習の量を数学的に解析する。 2層全接続ネットワーク上での勾配降下事前学習の回数の単純な理論的境界を求める。 より大きなデータセットでの実験では、プルーニングによって得られた事前トレーニングのフォアワークがうまく機能するために必要になる。
  論文  参考訳（メタデータ） (2021-07-31T15:08:36Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。