Fugu-MT 論文翻訳(概要): Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning

論文の概要: Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning

arxiv url: http://arxiv.org/abs/2007.08243v3
Date: Mon, 5 Jul 2021 10:28:43 GMT
ステータス: 処理完了
システム内更新日: 2022-11-09 22:13:46.050841
Title: Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning
Title（参考訳）: 線形モデルにおける抽選券:反復的マグニチュードプルーニングの解析
Authors: Bryn Elesedy, Varun Kanade and Yee Whye Teh
Abstract要約: 我々は宝くじの仮説 arXiv:1803.03635v5, Iterative magnitude pruning (IMP) を分析する。まず、IMPがデータに最小の投影を持つ特徴を具現化する特徴の統計的構造に関する十分な条件を提示することから始める。次に,スパース推定手法としてのIMPについて検討する。
参考スコア（独自算出の注目度）: 52.823408186356225
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We analyse the pruning procedure behind the lottery ticket hypothesis arXiv:1803.03635v5, iterative magnitude pruning (IMP), when applied to linear models trained by gradient flow. We begin by presenting sufficient conditions on the statistical structure of the features under which IMP prunes those features that have smallest projection onto the data. Following this, we explore IMP as a method for sparse estimation.
Abstract（参考訳）: 勾配流による線形モデルに適用した場合, 抽選券仮説 arXiv:1803.03635v5, Iterative magnitude pruning (IMP) を解析した。まず、IMPがデータに最小の投影を持つ特徴を具現化する特徴の統計的構造に関する十分な条件を提示することから始める。次に,スパース推定手法としてのIMPについて検討する。

関連論文リスト

Quasi-Bayes meets Vines [2.3124143670964448]
我々は、スクラーの定理を用いて、準ベイズ予想を高次元に拡張する別の方法を提案する。提案した準ベイジアンVine (QB-Vine) は完全に非パラメトリックな密度推定器であることを示す。
論文参考訳（メタデータ） (2024-06-18T16:31:02Z)
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文参考訳（メタデータ） (2023-06-05T21:08:34Z)
VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
論文参考訳（メタデータ） (2022-03-22T09:22:18Z)
Generative Principal Component Analysis [47.03792476688768]
生成的モデリング仮定を用いた主成分分析の問題点を考察する。鍵となる仮定は、基礎となる信号は、$k$次元の入力を持つ$L$-Lipschitz連続生成モデルの範囲に近いことである。本稿では,2次推定器を提案し,検体数として$m$の次数$sqrtfracklog Lm$の統計率を示す。
論文参考訳（メタデータ） (2022-03-18T01:48:16Z)
Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文参考訳（メタデータ） (2021-10-20T12:25:22Z)
Projected Statistical Methods for Distributional Data on the Real Line with the Wasserstein Metric [0.0]
本研究では,実線上の確率分布のデータセットに関する統計解析を行うための,新規な予測手法を提案する。特に主成分分析(PCA)と回帰に重点を置いています。モデルのいくつかの理論的性質が研究され、一貫性が証明される。
論文参考訳（メタデータ） (2021-01-22T10:24:49Z)
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文参考訳（メタデータ） (2020-12-16T05:13:30Z)
On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
論文参考訳（メタデータ） (2020-07-06T17:28:19Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。