論文の概要: What needles do sparse neural networks find in nonlinear haystacks
- arxiv url: http://arxiv.org/abs/2006.04041v1
- Date: Sun, 7 Jun 2020 04:46:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 07:57:15.251954
- Title: What needles do sparse neural networks find in nonlinear haystacks
- Title（参考訳）: 非線形干し草スタックにおけるスパークニューラルネットワークの発見
- Authors: Sylvain Sardy, Nicolas W Hengartner, Nikolai Bonenko, Yen Ting Lin
- Abstract要約: 人工ニューラルネットワーク(ANN)におけるスパーシリティ誘導ペナルティは、特にノイズが高く、トレーニングセットが小さい状況において、過度な適合を避ける。
線形モデルの場合、そのようなアプローチは、適切なコセンのペナルティパラメータに対するレギュレーションにおいて高い確率で重要な特徴を確実に回復する。
簡単なモデルを用いてモンテカルロシミュレーションを行い,提案手法の有効性を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Using a sparsity inducing penalty in artificial neural networks (ANNs) avoids
over-fitting, especially in situations where noise is high and the training set
is small in comparison to the number of features. For linear models, such an
approach provably also recovers the important features with high probability in
regimes for a well-chosen penalty parameter. The typical way of setting the
penalty parameter is by splitting the data set and performing the
cross-validation, which is (1) computationally expensive and (2) not desirable
when the data set is already small to be further split (for example,
whole-genome sequence data). In this study, we establish the theoretical
foundation to select the penalty parameter without cross-validation based on
bounding with a high probability the infinite norm of the gradient of the loss
function at zero under the zero-feature assumption. Our approach is a
generalization of the universal threshold of Donoho and Johnstone (1994) to
nonlinear ANN learning. We perform a set of comprehensive Monte Carlo
simulations on a simple model, and the numerical results show the effectiveness
of the proposed approach.
- Abstract（参考訳）: 人工ニューラルネットワーク(ANN)におけるスパーシティ誘導ペナルティの使用は、特にノイズが高く、トレーニングセットが特徴の数に比べて小さい状況において、過度な適合を避ける。
線形モデルの場合、そのようなアプローチは、十分に厳密なペナルティパラメータのレジームにおいて高い確率で重要な特徴を再現する。
ペナルティパラメータを設定する典型的な方法は、データセットを分割してクロスバリデーションを行うことであり、(1)計算コストが高く、(2)データセットが分割されてより小さい場合(例えば、全ゲノムシーケンスデータ)は望ましくない。
本研究では,ゼロ特徴仮定の下でゼロの損失関数の勾配の無限ノルムを高い確率で境界付けし,クロスバリデーションを行わずにペナルティパラメータを選択する理論的基礎を確立する。
我々のアプローチは、Donoho と Johnstone (1994) の普遍しきい値の非線形 ANN 学習への一般化である。
簡単なモデルを用いてモンテカルロの総合シミュレーションを行い,提案手法の有効性を示す数値実験を行った。
関連論文リスト
- Training a neural netwok for data reduction and better generalization [7.545668088790516]
スパース学習者の動機は、優れた一般化に必要なものだけを選択することで入力(特徴)を圧縮することである。
人工的な特徴の選択により,無関係な特徴を無視する段階から,それらを取り出す段階へ,顕著な段階的変化を示す。
このアプローチは、高次元データを意味のある罰則のコンパクトで解釈可能な部分集合に解釈するために圧縮された特徴を検知する形態であると見なすことができる。
論文 参考訳（メタデータ） (2024-11-26T07:41:15Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。
これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。
本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
論文 参考訳（メタデータ） (2023-11-24T16:43:17Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - A phase transition for finding needles in nonlinear haystacks with LASSO
artificial neural networks [1.5381930379183162]
ANN学習者は、針を回収する確率において相転移を示す。
本稿では,高効率・非微分可能・非微分可能最適化問題の解法を提案する。
論文 参考訳（メタデータ） (2022-01-21T11:39:04Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。