論文の概要: Exchangeability in Neural Network and its Application to Dynamic Pruning

• arxiv url: http://arxiv.org/abs/2506.02210v2
• Date: Tue, 07 Oct 2025 23:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:18.032616
• Title: Exchangeability in Neural Network and its Application to Dynamic Pruning
• Title（参考訳）: ニューラルネットワークの交換性とその動的プルーニングへの応用
• Authors: Pu, Yi, Tianlang Chen, Yifan Yang, Sara Achour,
• Abstract要約: インプット毎の多粒度部分計算を可能にする汎用動的プルーニング最適化であるExPruneを提案する。 ExPruneは、あるモデルパラメータと中間値の関係が交換可能性と呼ばれる統計的性質によって記述できるという理論結果に基づいている。 ExPruneは理論に基礎を置いているため、異なる問題領域のモデルアーキテクチャをまたいで一般化する。
• 参考スコア（独自算出の注目度）: 7.986104960114573
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern neural networks (NN) contain an ever-growing number of parameters, substantially increasing the memory and computational cost of inference. Researchers have explored various ways to reduce the inference cost of NNs by reducing the model size before deployment and dynamically pruning the inference computation at runtime. In this work, we present ExPrune, a general, dynamic pruning optimization that enables multi-granularity partial computation on a per-input basis. ExPrune requires no change to the model architecture or the training algorithm. ExPrune is based on our theoretical results that the relationship between certain model parameters and intermediate values can be described by a statistical property called exchangeability. By identifying exchangeable parameters and values in the model, we are able to first partially evaluate the network, analyze the statistics of the partial results, and make pruning decisions on the fly. Because ExPrune is theory grounded, it generalizes across model architectures in different problem domains. We evaluate ExPrune on one computer vision models, one graph model and one language model. ExPrune provides 10.98--17.33% reduction in FLOPs with negligible accuracy drop and 21.61--27.16% reduction in FLOPs with at most 1% accuracy drop. We also demonstrate that ExPrune composes with static magnitude pruning. On models that have been aggressively statically pruned, ExPrune still provides additional 10.24--11.11% reduction in FLOPs with negligible accuracy drop and 13.91--14.39% reduction in FLOPs with at most 1% accuracy drop.
• Abstract（参考訳）: 現代のニューラルネットワーク(NN)は、絶え間なく増加するパラメータを含み、推論のメモリと計算コストを大幅に増加させる。 研究者は、デプロイ前のモデルサイズを削減し、実行時に推論計算を動的に刈り取ることにより、NNの推論コストを削減するさまざまな方法を模索している。 本研究では,インプット毎の多粒度部分計算を可能にする汎用動的プルーニング最適化であるExPruneを提案する。 ExPruneはモデルアーキテクチャやトレーニングアルゴリズムを変更する必要はない。 ExPruneは、あるモデルパラメータと中間値の関係が交換可能性と呼ばれる統計的性質によって記述できるという理論結果に基づいている。 モデル内の交換可能なパラメータと値を特定することで、まずネットワークを部分的に評価し、部分的な結果の統計を分析し、その場で決定を下すことができる。 ExPruneは理論に基礎を置いているため、異なる問題領域のモデルアーキテクチャをまたいで一般化する。 1つのコンピュータビジョンモデル、1つのグラフモデル、1つの言語モデルでExPruneを評価する。 ExPruneは10.98--17.33%のFLOPの精度低下と21.61--27.16%のFLOPの精度低下を提供する。 また、ExPruneは静的等級プルーニングで構成されることを示す。 積極的に静的に切断されたモデルでは、ExPruneは無視できる精度でFLOPを10.24-11.11%削減し、少なくとも1%の精度でFLOPを13.91-14.39%削減した。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
  我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。 JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。 複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T01:47:09Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
  Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。 標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
  論文  参考訳（メタデータ） (2021-03-05T09:48:57Z)
• Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
  プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。 構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-01-22T04:08:03Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。