論文の概要: Selection Plateau and a Sparsity-Dependent Hierarchy of Pruning Features
- arxiv url: http://arxiv.org/abs/2605.09345v1
- Date: Sun, 10 May 2026 05:45:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.202508
- Title: Selection Plateau and a Sparsity-Dependent Hierarchy of Pruning Features
- Title（参考訳）: 選抜台地と選抜特徴のスパース性依存階層
- Authors: Guangqi Li, Yongxin Li,
- Abstract要約: 単発ニューラルネットワークプルーニングにおける選択プラトー現象を同定する。
すべてのランクモノトンウェイトスコアラーは、関数形式とは無関係に、一定間隔で同じ精度に収束する。
- 参考スコア（独自算出の注目度）: 2.446942686520097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify a Selection Plateau phenomenon in one-shot neural network pruning: all rank-monotone weight scorers converge to identical accuracy at fixed sparsity, independent of functional form. We propose the Sparsity-Information-Complexity Spectrum (SICS) hypothesis: a sparsity-dependent minimum feature complexity kappa(S) governs plateau escape, with kappa=0 sufficient at low sparsity (S<0.65), kappa=1 dominant at critical sparsity (S~0.7), and kappa=2 necessary at extreme sparsity (S>0.75). On ViT-Small/CIFAR-10, testing nine feature classes across four sparsities, smooth non-monotone features provide +6.6% escape at S=0.7, while only raw features with high-frequency wiggle escape at S=0.8 (+2.6%). A fake non-monotone scorer underperforms the gradient baseline, indicating the requirement is magnitude-independent non-monotonicity. A handcrafted Gaussian bump achieves only +0.006 escape vs. chaos-derived +0.046, indicating rank-alignment is necessary but insufficient. SICS provides a unifying explanation for the performance clustering of diverse pruning methods and suggests that future selection algorithms should adapt feature complexity to target sparsity.
- Abstract（参考訳）: 単発ニューラルネットワークプルーニングにおける選択プラトー現象を同定し、全てのランクモノトンウェイトスコアラーは、関数形式に依存しない一定間隔で同じ精度で収束する。
空間依存性の最小特徴量 Kappa(S) がプラトーエスケープを支配下に置くこと,Kappa=0 が低空間 (S<0.65),Kappa=1 が臨界空間 (S~0.7),Kappa=2 が極端空間 (S>0.75) で支配的であること,などが示唆された。
ViT-Small/CIFAR-10では、4つの空間にまたがる9つの特徴クラスを試験し、滑らかな非単調な特徴はS=0.7で+6.6%、高周波ワイグルエスケープで+2.6%である。
偽の非単調スコアラは勾配ベースラインを過小評価し、その要求が等級非独立な非単調性であることを示す。
手作りのガウスバンプは、カオス由来の+0.046に対して+0.006エスケープしか達成せず、ランクアライメントは必要だが不十分であることを示している。
SICSは、様々なプルーニング手法のパフォーマンスクラスタリングに関する統一的な説明を提供し、将来の選択アルゴリズムは、スパーシリティをターゲットとする機能複雑性に適応すべきである、と提案する。
関連論文リスト
- GRALIS: A Unified Canonical Framework for Linear Attribution Methods via Riesz Representation [0.0]
ディープニューラルネットワークの主要なXAI属性法は、別の理論的基礎の上で動作しており、公式には同等ではない。
本稿では,属性の表現論を確立する数学的枠組みであるGRALISを紹介する。
論文 参考訳（メタデータ） (2026-05-06T22:01:28Z) - Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria [0.0]
Profiled Sparse Networks (PSN) は、一様接続を決定論的で不均一なファンインプロファイルに置き換える。
90%の間隔で、全ての静的プロファイルは、データセットの密度の高いベースラインの0.2-0.6%以内の精度を達成する。
この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。
論文 参考訳（メタデータ） (2026-04-12T10:04:48Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Reinforcement Learning for Parameterized Quantum State Preparation: A Comparative Study [2.4542351340244264]
我々は、純離散ゲート選択からパラメータ化量子状態準備への強化学習により、指向性量子回路合成(DQCS)を拡張した。
ゲートタイプと影響を受けるキュービット(s)と回転角を協調的に選択する一段エージェントとを比較した。
本稿では,2から10キュービットのシステム上でのPPO(Proximal Policy Optimization)とAdvantage Actor--Critic(Advantage Actor--Critic)を評価する。
論文 参考訳（メタデータ） (2026-02-18T15:10:43Z) - Matrix Phylogeny: Compact Spectral Fingerprints for Trap-Robust Preconditioner Selection [0.0]
Matrix Phylogenyは、家族レベルで行列を特徴付けるコンパクトなスペクトル指紋(CSF/ASF)を導入している。
これらの指紋は、ハッチンソンのスケッチから推定されるチェビシェフのトレースモーメントから作られた低次元の固有分解自由記述子である。
CSF/ASFはコンパクト(K=10)で高速で不変な指紋を提供する。
論文 参考訳（メタデータ） (2025-10-19T02:35:09Z) - Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。
提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-12-11T06:50:27Z) - AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。
AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。
ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
論文 参考訳（メタデータ） (2023-07-28T08:05:36Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Tight Second-Order Certificates for Randomized Smoothing [106.06908242424481]
また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。
この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
論文 参考訳（メタデータ） (2020-10-20T18:03:45Z) - Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。
LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文 参考訳（メタデータ） (2020-10-15T09:14:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。