論文の概要: Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search

• arxiv url: http://arxiv.org/abs/2512.07142v1
• Date: Mon, 08 Dec 2025 03:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.704001
• Title: Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search
• Title（参考訳）: コンクリートチケット探索によるネットワークトレーニングダイナミクスの保存によるロテリ獲得
• Authors: Tanay Arora, Christof Teuscher,
• Abstract要約: Lottery Ticket仮説は、高密度でランダムなニューラルネットワーク内に、高度にスパースでトレーニング可能なワーク('勝利チケット')が存在すると主張している。 Lottery Ticket Rewindingのように、これらのチケットを描画する最先端の手法は、計算的に禁止されている。 本研究では、PaIがウェイト間の依存関係を無視した1次サリエンシメトリクスに依存していることが、このパフォーマンスギャップに大きく貢献する、と論じる。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Lottery Ticket Hypothesis asserts the existence of highly sparse, trainable subnetworks ('winning tickets') within dense, randomly initialized neural networks. However, state-of-the-art methods of drawing these tickets, like Lottery Ticket Rewinding (LTR), are computationally prohibitive, while more efficient saliency-based Pruning-at-Initialization (PaI) techniques suffer from a significant accuracy-sparsity trade-off and fail basic sanity checks. In this work, we argue that PaI's reliance on first-order saliency metrics, which ignore inter-weight dependencies, contributes substantially to this performance gap, especially in the sparse regime. To address this, we introduce Concrete Ticket Search (CTS), an algorithm that frames subnetwork discovery as a holistic combinatorial optimization problem. By leveraging a Concrete relaxation of the discrete search space and a novel gradient balancing scheme (GRADBALANCE) to control sparsity, CTS efficiently identifies high-performing subnetworks near initialization without requiring sensitive hyperparameter tuning. Motivated by recent works on lottery ticket training dynamics, we further propose a knowledge distillation-inspired family of pruning objectives, finding that minimizing the reverse Kullback-Leibler divergence between sparse and dense network outputs (CTS-KL) is particularly effective. Experiments on varying image classification tasks show that CTS produces subnetworks that robustly pass sanity checks and achieve accuracy comparable to or exceeding LTR, while requiring only a small fraction of the computation. For example, on ResNet-20 on CIFAR10, it reaches 99.3% sparsity with 74.0% accuracy in 7.9 minutes, while LTR attains the same sparsity with 68.3% accuracy in 95.2 minutes. CTS's subnetworks outperform saliency-based methods across all sparsities, but its advantage over LTR is most pronounced in the highly sparse regime.
• Abstract（参考訳）: Lottery Ticket仮説は、高密度でランダムに初期化されたニューラルネットワークの中に、高度にスパースで訓練可能なサブネットワーク('inning ticket')が存在すると主張している。 しかし、Lottery Ticket Rewinding (LTR)のような最先端の手法は計算的に禁止されているが、より効率的な唾液ベースのPruning-at-Initialization (PaI)技術は相当な精度のトレードオフと基本的な正当性チェックの失敗に悩まされている。 本研究では、特にスパース体制において、重み間の依存関係を無視した1次サリエンシメトリクスへのPaIの依存は、このパフォーマンスギャップに大きく寄与する、と論じる。 そこで本研究では,サブネットワーク探索を包括的組合せ最適化問題として扱うアルゴリズムであるCTSを提案する。 離散探索空間と新しい勾配バランススキーム(GRADBALANCE)のコンクリート緩和を利用して空間幅を制御することにより、CTSは感度なハイパーパラメータチューニングを必要とせず、初期化に近い高性能サブネットを効率的に同定する。 近年の宝くじの練習力学の研究により,スパルスと高密度ネットワーク出力(CTS-KL)の逆カルバック・リーブラー分散を最小化することが特に有効であることが判明した。 様々な画像分類タスクの実験では、CTSは、少数の計算しか必要とせず、正当性チェックを確実にパスし、LTRに匹敵する精度を達成するサブネットを生成する。 例えば、CIFAR10上のResNet-20では、7.9分で74.0%の精度で99.3%の間隔に到達し、LTRは95.2分で68.3%の精度で同じ間隔に到達している。 CTSのサブネットワークは、すべての空間でサリエンシベースの手法よりも優れているが、LTRに対する利点は、非常に希薄な体制において最も顕著である。

関連論文リスト

• TwIST: Rigging the Lottery in Transformers with Independent Subnetwork Training [6.7228358095570995]
  TwISTは、分散トレーニングフレームワークで、効率的な大規模言語モデルのスカラー化を実現している。 マルチワークを並列にトレーニングし、パラメータを定期的に集約し、トレーニング中に新しいワークを再サンプリングする。 キャリブレーションやヘッセンベースのリカバリのようなポストトレーニング手順を必要とせず、高品質なワーク(金のチケット)を識別する。
  論文  参考訳（メタデータ） (2025-11-06T02:13:24Z)
• Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency [3.6199690908942546]
  自己一貫性(SC)は複数の推論チェーンを並列に生成し、多数決によって最終回答を選択する。 Slim-SCは、思考レベルでチェーン間の類似性を用いて冗長なチェーンを識別・除去するステップワイズプルーニング戦略である。 実験によると、Slim-SCはR1-Distillで、それぞれ最大45%と26%のレイテンシとKVC使用量を削減している。
  論文  参考訳（メタデータ） (2025-09-17T14:00:51Z)
• UniPTS: A Unified Framework for Proficient Post-Training Sparsity [67.16547529992928]
  Post-Traiing Sparsity (PTS)は、必要な限られたデータで効率的なネットワークスパシティを追求する、新たに登場した道である。 本稿では,従来のスパシティの性能をPSSの文脈に大きく変化させる3つの基本因子を変換することで,この相違を解消しようとする。 我々のフレームワークはUniPTSと呼ばれ、広範囲のベンチマークで既存のPTSメソッドよりも優れていることが検証されている。
  論文  参考訳（メタデータ） (2024-05-29T06:53:18Z)
• Towards Simple and Accurate Human Pose Estimation with Stair Network [34.421529219040295]
  精度の高い多段階ポーズ推定システムに積み重ねることができるStair Networkと呼ばれる小さな判別モデルを開発した。 計算コストを削減するため、Stair Networkは、新しい基本的な特徴抽出ブロックで構成されている。 2つの標準データセットに対するStair Networkの有効性を示す。
  論文  参考訳（メタデータ） (2022-02-18T10:37:13Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
  論文  参考訳（メタデータ） (2021-06-06T19:58:17Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。