論文の概要: Budgeted Broadcast: An Activity-Dependent Pruning Rule for Neural Network Efficiency

• arxiv url: http://arxiv.org/abs/2510.01263v1
• Date: Fri, 26 Sep 2025 02:28:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.769958
• Title: Budgeted Broadcast: An Activity-Dependent Pruning Rule for Neural Network Efficiency
• Title（参考訳）: Budgeted Broadcast: ニューラルネットワーク効率のためのアクティビティ依存型プルーニングルール
• Authors: Yaron Meirovitch, Fuming Yang, Jeff Lichtman, Nir Shavit,
• Abstract要約: Budgeted Broadcast (BB) は、各ユニットにローカルトラフィック予算(長期オンデマンド$a_i$とファンアウト$k_i$の製品)を与える。 BBはこのバランスを、ファンイン(アクティビティを低くするために)またはファンアウト(ブロードキャストを減らすために)を刺激する単純なローカルアクチュエーターと強制する
• 参考スコア（独自算出の注目度）: 3.9794495237092704
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most pruning methods remove parameters ranked by impact on loss (e.g., magnitude or gradient). We propose Budgeted Broadcast (BB), which gives each unit a local traffic budget (the product of its long-term on-rate $a_i$ and fan-out $k_i$). A constrained-entropy analysis shows that maximizing coding entropy under a global traffic budget yields a selectivity-audience balance, $\log\frac{1-a_i}{a_i}=\beta k_i$. BB enforces this balance with simple local actuators that prune either fan-in (to lower activity) or fan-out (to reduce broadcast). In practice, BB increases coding entropy and decorrelation and improves accuracy at matched sparsity across Transformers for ASR, ResNets for face identification, and 3D U-Nets for synapse prediction, sometimes exceeding dense baselines. On electron microscopy images, it attains state-of-the-art F1 and PR-AUC under our evaluation protocol. BB is easy to integrate and suggests a path toward learning more diverse and efficient representations.
• Abstract（参考訳）: ほとんどのプルーニング法は、損失(例えば、等級、勾配)の影響によってランク付けされたパラメータを除去する。 我々は、各ユニットにローカルトラフィック予算(長期オンデマンド$a_i$とファンアウト$k_i$の製品)を与えるBudgeted Broadcast (BB)を提案する。 制約付きエントロピー解析により、グローバル交通予算下での符号化エントロピーの最大化は、選択性-オーディエンスバランス、$\log\frac{1-a_i}{a_i}=\beta k_i$ が得られることが示された。 BBはこのバランスを、ファンイン(アクティビティを減らすために)またはファンアウト(ブロードキャストを減らすために)のどちらかを刺激する単純なローカルアクチュエータと強制する。 実際には、BBは符号化エントロピーとデコリレーションを増大させ、ASR用トランスフォーマー、顔識別用ResNet、シナプス予測用3DU-Net、時には高密度ベースラインを超える精度を向上させる。 電子顕微鏡画像では,評価プロトコルの下で最先端のF1とPR-AUCが得られる。 BBは統合が容易で、より多様で効率的な表現を学ぶための道を提案する。

関連論文リスト

• BMRS: Bayesian Model Reduction for Structured Pruning [9.508747319738847]
  構造化プルーニングの完全エンドツーエンドベイズ手法を提案する。 BMRSの異なる前駆体から得られる2つの実現は、異なる構造化プルーニング特性をもたらす。 BMRSは、高い圧縮率と精度の両方をもたらすニューラルネットワークの構造的プルーニングに対して理論的に基礎的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-03T14:08:04Z)
• Adaptive, Doubly Optimal No-Regret Learning in Strongly Monotone and Exp-Concave Games with Gradient Feedback [75.29048190099523]
  オンライン勾配降下(OGD)は、強い凸性や単調性仮定の下では二重最適であることが知られている。 本稿では,これらのパラメータの事前知識を必要としない完全適応型OGDアルゴリズム,textsfAdaOGDを設計する。
  論文  参考訳（メタデータ） (2023-10-21T18:38:13Z)
• Universal Neural Optimal Transport [0.0]
  UNOT(Universal Neural Optimal Transport、Universal Neural Optimal Transport)は、OT距離を正確に予測できる新しいフレームワークである。 我々のネットワークはSinkhornアルゴリズムの最先端の初期化として使用でき、最大7.4times$の高速化が可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T21:56:09Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。