論文の概要: Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates

• arxiv url: http://arxiv.org/abs/2603.08914v1
• Date: Mon, 09 Mar 2026 20:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:23.818267
• Title: Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates
• Title（参考訳）: 連続緩和したベルヌーイゲートで勝利した宝くじを発見
• Authors: Itamar Tsayag, Ofir Lindenbaum,
• Abstract要約: Strong Lottery Ticket (SLT)仮説は、無作為なネットワークには、ウェイトトレーニングなしで競争精度を達成できるスパースワークが含まれていることを示唆している。 我々は、連続的に緩和されたBernoulligatingを用いて、完全に微分可能でエンドツーエンドの最適化によってSLTを発見することを提案する。 完全接続ネットワーク、CNN(ResNet、Wide-ResNet)、ビジョントランスフォーマー(ViT、Swin-T)での実験では、90%の間隔で精度が低下する。
• 参考スコア（独自算出の注目度）: 13.591018807414484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over-parameterized neural networks incur prohibitive memory and computational costs for resource-constrained deployment. The Strong Lottery Ticket (SLT) hypothesis suggests that randomly initialized networks contain sparse subnetworks achieving competitive accuracy without weight training. Existing SLT methods, notably edge-popup, rely on non-differentiable score-based selection, limiting optimization efficiency and scalability. We propose using continuously relaxed Bernoulli gates to discover SLTs through fully differentiable, end-to-end optimization - training only gating parameters while keeping all network weights frozen at their initialized values. Continuous relaxation enables direct gradient-based optimization of an $\ell_0$-regularization objective, eliminating the need for non-differentiable gradient estimators or iterative pruning cycles. To our knowledge, this is the first fully differentiable approach for SLT discovery that avoids straight-through estimator approximations. Experiments across fully connected networks, CNNs (ResNet, Wide-ResNet), and Vision Transformers (ViT, Swin-T) demonstrate up to 90% sparsity with minimal accuracy loss - nearly double the sparsity achieved by edge-popup at comparable accuracy - establishing a scalable framework for pre-training network sparsification.
• Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークは、リソース制約されたデプロイメントの禁止メモリと計算コストを発生させる。 SLT(Strong Lottery Ticket)仮説は、ランダムに初期化されたネットワークには、ウェイトトレーニングなしで競争精度を達成できるスパースサブネットが含まれていることを示唆している。 既存のSLTメソッド、特にエッジポップアップは、最適化の効率とスケーラビリティを制限し、微分不可能なスコアベースの選択に依存している。 我々は、連続的に緩和されたベルヌーイゲートを用いて、完全に微分可能でエンドツーエンドの最適化によってSLTを発見することを提案する。 連続緩和は、$\ell_0$-regularization目標の直接勾配に基づく最適化を可能にし、微分不可能な勾配推定器や反復プルーニングサイクルの必要性を排除する。 我々の知る限り、これはストレートスルー推定器近似を避けるSLT発見のための最初の完全微分可能なアプローチである。 完全に接続されたネットワーク、CNN(ResNet、Wide-ResNet)、ビジョントランスフォーマー(ViT、Swin-T)での実験では、ネットワークスカラー化を事前トレーニングするためのスケーラブルなフレームワークを確立することで、最小限の精度で90%のスパーシリティを達成している。

関連論文リスト

• Winning the Lottery by Preserving Network Training Dynamics with Concrete Ticket Search [0.5156484100374058]
  Lottery Ticket仮説は、高密度でランダムなニューラルネットワーク内に、高度にスパースでトレーニング可能なワーク('勝利チケット')が存在すると主張している。 Lottery Ticket Rewindingのように、これらのチケットを描画する最先端の手法は、計算的に禁止されている。 本研究では、PaIがウェイト間の依存関係を無視した1次サリエンシメトリクスに依存していることが、このパフォーマンスギャップに大きく貢献する、と論じる。
  論文  参考訳（メタデータ） (2025-12-08T03:48:51Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Preserving Deep Representations In One-Shot Pruning: A Hessian-Free Second-Order Optimization Framework [12.331056472174275]
  SNOWSは、再トレーニングをせずに視覚ネットワーク推論のコストを削減することを目的とした、一発の訓練後プルーニングフレームワークである。 我々のフレームワークの重要な革新は、完全にヘッセン行列を計算したり保存したりすることなく、ヘッセン自由最適化を用いてニュートン降下ステップを正確に計算することである。
  論文  参考訳（メタデータ） (2024-11-27T14:25:00Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [2.895034191799291]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10, CIFAR-100, Tiny Imagenet で得られた結果から, ディープネットワークにおける接続の50%を, 1%の分類精度で除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。