論文の概要: A Unified Framework for Quantized and Continuous Strong Lottery Tickets

• arxiv url: http://arxiv.org/abs/2607.03860v1
• Date: Sat, 04 Jul 2026 13:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.738684
• Title: A Unified Framework for Quantized and Continuous Strong Lottery Tickets
• Title（参考訳）: 量子化・連続ロッキーティケットのための統一フレームワーク
• Abstract要約: 本稿では、離散環境でのランダム・サブセット・サム問題(RSSP)の分析を行い、量子化の場合の厳密なSLTH保証を導出する。 分析により、量子化された状態において、強力な宝くじが見つかる確率に厳密な制約が与えられ、過去の結果よりも指数関数的に改善された。
• 参考スコア（独自算出の注目度）: 3.772827533440353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Strong Lottery Ticket Hypothesis (SLTH) asserts that sufficiently overparameterized, randomly initialized neural networks contain sparse subnetworks that, even without any training, can match the performance of a small trained network on a given dataset. A key mathematical tool in the theoretical study of SLTH has been the Random Subset Sum Problem (RSSP). The SLTH has recently been extended to the quantized setting, where the network weights are sampled from a discrete set rather than from a continuous interval. These new results are however far from those in arbitrary-precision setting in several ways. In this work, we provide an analysis of the RSSP in the discrete setting, and use it to derive tight SLTH guarantees in the quantized case. Our analysis obtain tight bounds on the failure probability of finding a strong lottery ticket in the quantized regime, providing an exponential improvement over previous results. Most importantly, it unifies the literature by showing that both approximate representations in the continuous setting and exact representations in quantized settings naturally emerge as limiting cases of our results. This perspective not only sharpens existing bounds but also provides a cohesive framework that simultaneously handles approximation and rounding errors.
• Abstract（参考訳）: SLTH(Strong Lottery Ticket hypothesis)は、十分に過度にパラメータ化され、ランダムに初期化されたニューラルネットワークには、トレーニングなしでも、与えられたデータセット上の小さなトレーニングされたネットワークのパフォーマンスにマッチできるスパースサブネットが含まれている、と主張している。 SLTHの理論研究における重要な数学的ツールはランダム・サブセット・サム問題(RSSP)である。 SLTHは、最近量子化された設定に拡張され、ネットワークの重みは連続的な間隔ではなく離散的な集合からサンプリングされる。 しかし、これらの新しい結果は、いくつかの点で任意の精度の設定のものとはかけ離れている。 本研究では、離散的な設定でRSSPの分析を行い、量子化の場合の厳密なSLTH保証を導出する。 分析により、量子化された状態において、強力な宝くじが見つかる確率の厳密な境界が得られ、過去の結果よりも指数関数的に改善された。 最も重要なことは、連続的なセッティングにおける近似表現と量子化されたセッティングにおける正確な表現の両方が、結果の限定的なケースとして自然に現れることを示すことによって、文献を統一することである。 この観点は、既存の境界を鋭くするだけでなく、近似と丸め誤差を同時に処理する凝集フレームワークも提供する。

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Quantization vs Pruning: Insights from the Strong Lottery Ticket Hypothesis [5.494111035517599]
  量子化はニューラルネットワークをより効率的にするための重要なテクニックですが、理論的には限定的です。 従来の研究では、バイナリネットワークのような超低精度ネットワークは、大規模でランダムに近似されたネットワークを刈り取ることで構築可能であることが示されていた。 我々は数分割問題(Number Partitioning Problem)に基づくボルグスらによる基礎的な結果に基づいて、量子化された環境でランダムな部分集合 Sum 問題に対する新たな理論的結果を導出する。
  論文  参考訳（メタデータ） (2025-08-14T18:51:34Z)
• On the Hölder Stability of Multiset and Graph Neural Networks [3.396731589928944]
  リプシッツとホルダーのパラメトリック関数への適応に基づくペアワイズ分離品質解析フレームワークを提案する。 一般的な和モデルでは,ネットワークの深さとともに急速に減衰する指数が期待値よりも低いことが証明される。 これらのMPNNは、敵の例を簡単に分類でき、標準的なグラフ学習タスクにおける標準MPNNと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2024-06-11T06:28:21Z)
• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
  冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。 既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。 実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
  論文  参考訳（メタデータ） (2023-11-02T06:09:24Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Multi-Scale Positive Sample Refinement for Few-Shot Object Detection [61.60255654558682]
  Few-shot Object Detection (FSOD) は、ディテクターがトレーニングインスタンスをほとんど持たない未確認のクラスに適応するのに役立つ。 FSODにおけるオブジェクトスケールを拡張化するためのMPSR(Multi-scale Positive Sample Refinement)アプローチを提案する。 MPSRは、オブジェクトピラミッドとして多スケールの正のサンプルを生成し、様々なスケールで予測を洗練させる。
  論文  参考訳（メタデータ） (2020-07-18T09:48:29Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。