論文の概要: Double-Scoring: Reliable Extraction of Strong Lottery Tickets
- arxiv url: http://arxiv.org/abs/2607.20555v1
- Date: Wed, 15 Jul 2026 20:20:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.165277
- Title: Double-Scoring: Reliable Extraction of Strong Lottery Tickets
- Title（参考訳）: ダブルスコーリング:高強度ロッテティケットの信頼性抽出
- Abstract要約: 宝くじの仮説は、大きなランダムニューラルネットワークにはスパースワークが含まれており、同等のトレーニング後に高密度モデルのパフォーマンスと一致することを示唆している。
既存の理論では、このような強力な宝くじは存在するが、信頼できる抽出は依然として困難である。
我々は,強力なチケットを抽出するフリーズウェイトスコアトレーニング手法であるエッジポップアップを再検討し,階層幅選択を中心的ボトルネックとして同定する。
拡張スコア空間における固定密度マスキングは、全ての原座標マスクへのアクセスを保ち、結果として得られる手法がゼロ拡張ネットワーク上でエッジポップアップとして解釈可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The lottery ticket hypothesis proposes that large random neural networks contain sparse subnetworks that can match the performance of dense models after comparable training. A stronger version asserts that sufficiently overparameterized random networks contain subnetworks that are already accurate before any weight training. Existing theory establishes that such strong lottery tickets exist, but reliable extraction remains difficult. We revisit edge-popup, a frozen-weight score-training method for extracting strong tickets, and identify layerwise sparsity selection as a central bottleneck. We introduce double-scoring, an augmented score-space parameterization that replaces a layerwise sparsity search with optimization over enlarged score tensors. We prove that fixed-density masking in an augmented score space preserves access to all original-coordinate masks, and we show that the resulting method can be interpreted as edge-popup on a zero-augmented network. In controlled experiments, double-scoring substantially improves strong-ticket extraction over fixed-density edge-popup and pruning-at-initialization baselines, improves on the performance of rewound sparse-training topologies, and exhibits markedly lower sensitivity to sparsity hyperparameters. Ablations show that the gain is not merely due to additional trainable score parameters, but is tied to the augmented score-space competition that induces the effective original sparsity.
- Abstract（参考訳）: 宝くじの仮説は、大きなランダムなニューラルネットワークにはスパースサブネットが含まれており、同等のトレーニング後に高密度モデルのパフォーマンスと一致することを示唆している。
より強いバージョンでは、十分に過度にパラメータ化されたランダムネットワークには、重量訓練の前に既に正確であるサブネットが含まれていると主張されている。
既存の理論では、このような強力な宝くじは存在するが、信頼できる抽出は依然として困難である。
我々は,強力なチケットを抽出するフリーズウェイトスコアトレーニング手法であるエッジポップアップを再検討し,階層幅選択を中心的ボトルネックとして同定する。
拡張されたスコアテンソルに対して,階層的な空間探索を最適化して置き換える,拡張されたスコア空間パラメータ化であるダブルスコーリングを導入する。
拡張スコア空間における固定密度マスキングは、全ての原座標マスクへのアクセスを保ち、結果として得られる手法が、ゼロ拡張ネットワーク上でエッジポップアップとして解釈可能であることを示す。
制御された実験では、二重装飾により、固定密度エッジポップとプルーニング・アット・初期化ベースラインの強いチケット抽出が大幅に改善され、スパーストレーニングトポロジの再現性能が向上し、スパースパラメータに対する感度が著しく低下する。
アブレーションは、ゲインが単にトレーニング可能なスコアパラメータの追加によるものであるだけでなく、効果的なオリジナル空間を誘導する拡張スコアスペース競争と結びついていることを示している。
関連論文リスト
- Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates [13.591018807414484]
Strong Lottery Ticket (SLT)仮説は、無作為なネットワークには、ウェイトトレーニングなしで競争精度を達成できるスパースワークが含まれていることを示唆している。
我々は、連続的に緩和されたBernoulligatingを用いて、完全に微分可能でエンドツーエンドの最適化によってSLTを発見することを提案する。
完全接続ネットワーク、CNN(ResNet、Wide-ResNet)、ビジョントランスフォーマー(ViT、Swin-T)での実験では、90%の間隔で精度が低下する。
論文 参考訳（メタデータ） (2026-03-09T20:33:16Z) - Find A Winning Sign: Sign Is All We Need to Win the Lottery [52.63674911541416]
既存のIP手法によって訓練されたスパースネットワークは,パラメータ記号と正規化層パラメータが保存されている場合,アトラクションの基盤を保持することができることを示す。
本手法により訓練されたスパースネットワークと正規化層パラメータとの線形経路における高い誤差障壁を防止し, 正規化層パラメータへの依存を緩和する。
論文 参考訳（メタデータ） (2025-04-07T09:30:38Z) - Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks [10.48836159692231]
我々は宝くじを弾くための新しい方法のクラスを提案する。
鍵となる点は、緩和された二元マスクの空間性を促進するために凹凸正則化を使うことである。
提案手法は,最先端のアルゴリズムの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2025-01-19T18:05:13Z) - Binarizing Sparse Convolutional Networks for Efficient Point Cloud
Analysis [93.55896765176414]
我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。
我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。
我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
論文 参考訳（メタデータ） (2023-03-27T13:47:06Z) - Why Random Pruning Is All We Need to Start Sparse [7.648170881733381]
ランダムマスクは驚くほど効果的なスパースニューラルネットワークモデルを定義する。
スパサーネットワークは、密集したアーキテクチャや最先端の宝くじ改札アルゴリズムと競合できることを示す。
論文 参考訳（メタデータ） (2022-10-05T17:34:04Z) - Dual Lottery Ticket Hypothesis [71.95937879869334]
Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。
本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。
本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
論文 参考訳（メタデータ） (2022-03-08T18:06:26Z) - The Unreasonable Effectiveness of Random Pruning: Return of the Most
Naive Baseline for Sparse Training [111.15069968583042]
ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。
我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。
以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
論文 参考訳（メタデータ） (2022-02-05T21:19:41Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training
with Dynamic Sparsity [74.58777701536668]
我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。
本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
論文 参考訳（メタデータ） (2021-06-28T10:48:20Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。