論文の概要: Exchangeability in Neural Network Architectures and its Application to Dynamic Pruning

• arxiv url: http://arxiv.org/abs/2506.02210v1
• Date: Mon, 02 Jun 2025 19:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.99867
• Title: Exchangeability in Neural Network Architectures and its Application to Dynamic Pruning
• Title（参考訳）: ニューラルネットワークアーキテクチャにおける交換性とその動的プルーニングへの応用
• Authors: Pu, Yi, Tianlang Chen, Yifan Yang, Sara Achour,
• Abstract要約: NNにおけるパラメータと中間値の対称性を,交換確率の統計的性質を用いて定式化する。 原理的動的プルーニングアルゴリズム ExPrune を導出し, 入力毎の対称性誘起冗長性を除去する。
• 参考スコア（独自算出の注目度）: 12.730564651181947
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Neural networks (NNs) are equipped with increasingly many parameters and require more and more resource for deployment. Researchers have explored various ways to improve the efficiency of NNs by identifying and reducing the redundancy, such as pruning or quantizing unimportant weights. Symmetry in the NN architectures has been identified by prior work as a possible type of redundancy, but exploiting it for efficient inference is not yet explored. In this work, we formalize the symmetry of parameters and intermediate values in NNs using the statistical property of exchangeablility. We identify that exchangeable values in NN computation may contain overlapping information, leading to redundancy. Exploiting the insight, we derive a principled general dynamic pruning algorithm ExPrune to remove symmetry-induced redundancy on a per-input basis. We also provide an instantiation of ExPrune that performs neuron-level dynamic pruning by predicting negative inputs to ReLU activations. We evaluate ExPrune on two computer vision models, one graph model and one language model. ExPrune provides 10.98--26.3% reduction in FLOPs with negligible accuracy drop and 21.01--39.05% reduction in FLOPs with at most 1% accuracy drop. We also demonstrate that ExPrune composes with static pruning. On models that have been aggressively pruned statically, ExPrune provides additional 10.24--11.11% reduction in FLOPs with negligible accuracy drop and 13.91--14.39% reduction in FLOPs with at most 1% accuracy drop.
• Abstract（参考訳）: ニューラルネットワーク(NN)は、ますます多くのパラメータを備えており、デプロイにより多くのリソースを必要としている。 研究者は、未重要重量の定量化や刈り込みといった冗長性を識別し、削減することで、NNの効率を改善する様々な方法を模索してきた。 NNアーキテクチャの対称性は、事前の作業によって冗長性の可能性のあるタイプとして特定されているが、効率的な推論のためにそれを利用する方法はまだ検討されていない。 本研究では,NNにおけるパラメータと中間値の対称性を交換確率の統計的性質を用いて定式化する。 NN計算における交換可能な値には重なり合う情報が含まれており、冗長性が生じる可能性がある。 インサイトをエクスプロットすると、原理化された動的プルーニングアルゴリズム ExPrune が導出され、各インプットベースで対称性によって引き起こされる冗長性を除去する。 また、ReLUアクティベーションに対する負の入力を予測することにより、ニューロンレベルの動的プルーニングを行うExPruneのインスタンス化も提供する。 1つのグラフモデルと1つの言語モデルである2つのコンピュータビジョンモデル上でExPruneを評価する。 ExPruneは10.98-26.3%のFLOPの精度低下と21.01-39.05%のFLOPの精度低下を提供する。 また、ExPruneは静的プルーニングで構成されることを示す。 静的に積極的に刈り取られたモデルでは、ExPruneはFLOPを10.24-11.11%削減し、精度は無視できるが13.91-14.39%削減し、精度は1%以上低下する。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
  我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。 JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。 複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T01:47:09Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
  Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。 標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
  論文  参考訳（メタデータ） (2021-03-05T09:48:57Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。