論文の概要: SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning
- arxiv url: http://arxiv.org/abs/2112.04002v1
- Date: Tue, 7 Dec 2021 21:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 14:30:10.587687
- Title: SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning
- Title（参考訳）: SHRIMP: 反復マグニチュードプルーニングによるスペーサーランダム特徴モデル
- Authors: Yuege Xie, Bobby Shi, Hayden Schaeffer, Rachel Ward
- Abstract要約: IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。
提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
- 参考スコア（独自算出の注目度）: 3.775565013663731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse shrunk additive models and sparse random feature models have been
developed separately as methods to learn low-order functions, where there are
few interactions between variables, but neither offers computational
efficiency. On the other hand, $\ell_2$-based shrunk additive models are
efficient but do not offer feature selection as the resulting coefficient
vectors are dense. Inspired by the success of the iterative magnitude pruning
technique in finding lottery tickets of neural networks, we propose a new
method -- Sparser Random Feature Models via IMP (ShRIMP) -- to efficiently fit
high-dimensional data with inherent low-dimensional structure in the form of
sparse variable dependencies. Our method can be viewed as a combined process to
construct and find sparse lottery tickets for two-layer dense networks. We
explain the observed benefit of SHRIMP through a refined analysis on the
generalization error for thresholded Basis Pursuit and resulting bounds on
eigenvalues.
From function approximation experiments on both synthetic data and real-world
benchmark datasets, we show that SHRIMP obtains better than or competitive test
accuracy compared to state-of-art sparse feature and additive methods such as
SRFE-S, SSAM, and SALSA. Meanwhile, SHRIMP performs feature selection with low
computational complexity and is robust to the pruning rate, indicating a
robustness in the structure of the obtained subnetworks. We gain insight into
the lottery ticket hypothesis through SHRIMP by noting a correspondence between
our model and weight/neuron subnetworks.
- Abstract（参考訳）: スパーススランク加法モデルとスパースランダム特徴モデルは、変数間の相互作用が少ない低次関数を学習する方法として別々に開発されたが、どちらも計算効率は良くない。
一方、$\ell_2$-based shrunk additive model は効率的であるが、係数ベクトルが密度が高いため特徴選択は提供されない。
ニューラルネットワークの宝くじ発見における反復的等級プルーニング手法の成功に触発されて, IMP(ShRIMP)によるスペーサーランダム特徴モデル(Sprser Random Feature Models)を提案する。
提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
そこで我々は,SHRIMPの観測された利点を,しきい値のベイシス・パースーツの一般化誤差と固有値の有界性に関する洗練された解析によって説明する。
合成データと実世界のベンチマークデータセットの関数近似実験から,SHRIMPは,最先端スパース機能やSRFE-S,SSAM,SALSAなどの付加手法と比較して,競争力のあるテスト精度が得られることを示した。
一方、SHRIMPは計算複雑性の低い特徴選択を行い、プルーニング率に頑健であり、得られたサブネットの構造の堅牢性を示している。
モデルと重み/ニューロンサブネットワークの対応を指摘し,エビによる抽選チケット仮説を考察した。
関連論文リスト
- Nonuniform random feature models using derivative information [10.239175197655266]
ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。
We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。
入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
論文 参考訳（メタデータ） (2024-10-03T01:30:13Z) - On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。
本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
論文 参考訳（メタデータ） (2024-05-18T15:59:41Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。
既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。
実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
論文 参考訳（メタデータ） (2023-11-02T06:09:24Z) - Impact of PolSAR pre-processing and balancing methods on complex-valued
neural networks segmentation tasks [9.6556424340252]
複素値ニューラルネットワーク(CVNN)を用いたポラリメトリック合成開口レーダ(PolSAR)のセマンティックセグメンテーションについて検討する。
6つのモデルアーキテクチャ,3つの複素値,それぞれの実等価モデルについて,両手法を徹底的に比較する。
本稿では、このギャップを減らし、全ての入力表現、モデル、データセット前処理の結果を実行するための2つの方法を提案する。
論文 参考訳（メタデータ） (2022-10-28T12:49:43Z) - Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression [0.0]
ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。
項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
論文 参考訳（メタデータ） (2022-05-26T23:41:43Z) - Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling [0.0]
本研究では,一般平均情報係数やピアソン相関係数などの二元モデルとして検索を符号化する指標について検討する。
我々は,新しい指標を用いて合成データの最適部分集合を求めるための0.9の精度スコアを得る。
その結果、量子支援ルーチンを活用することで、予測モデル出力の品質を高めるソリューションが見つかることが分かりました。
論文 参考訳（メタデータ） (2021-04-08T20:48:44Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - Deep Learning with Functional Inputs [0.0]
本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。
この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。
このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
論文 参考訳（メタデータ） (2020-06-17T01:23:00Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。