論文の概要: A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks

• arxiv url: http://arxiv.org/abs/2201.08652v1
• Date: Fri, 21 Jan 2022 11:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-24 13:33:14.864066
• Title: A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks
• Title（参考訳）: LASSO人工ニューラルネットワークを用いた非線形干し草の針発見のための位相遷移
• Authors: Xiaoyu Ma, Sylvain Sardy, Nick Hengartner, Nikolai Bobenko, Yen Ting Lin
• Abstract要約: ANN学習者は、針を回収する確率において相転移を示す。 本稿では,高効率・非微分可能・非微分可能最適化問題の解法を提案する。
• 参考スコア（独自算出の注目度）: 1.5381930379183162
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To fit sparse linear associations, a LASSO sparsity inducing penalty with a single hyperparameter provably allows to recover the important features (needles) with high probability in certain regimes even if the sample size is smaller than the dimension of the input vector (haystack). More recently learners known as artificial neural networks (ANN) have shown great successes in many machine learning tasks, in particular fitting nonlinear associations. Small learning rate, stochastic gradient descent algorithm and large training set help to cope with the explosion in the number of parameters present in deep neural networks. Yet few ANN learners have been developed and studied to find needles in nonlinear haystacks. Driven by a single hyperparameter, our ANN learner, like for sparse linear associations, exhibits a phase transition in the probability of retrieving the needles, which we do not observe with other ANN learners. To select our penalty parameter, we generalize the universal threshold of Donoho and Johnstone (1994) which is a better rule than the conservative (too many false detections) and expensive cross-validation. In the spirit of simulated annealing, we propose a warm-start sparsity inducing algorithm to solve the high-dimensional, non-convex and non-differentiable optimization problem. We perform precise Monte Carlo simulations to show the effectiveness of our approach.
• Abstract（参考訳）: スパース線形結合に適合するため、単一ハイパーパラメータによるLASSO間隔誘導ペナルティは、サンプルサイズが入力ベクトル(ヘイスタック)の寸法よりも小さい場合でも、特定の状態において重要な特徴(ネイル)を高い確率で確実に回復することができる。 近年、artificial neural networks (ann)として知られる学習者は、多くの機械学習タスク、特に非線形関連において大きな成功を収めている。 小さな学習速度、確率的勾配降下アルゴリズム、大きなトレーニングセットは、ディープニューラルネットワークに存在するパラメータの数の爆発に対処するのに役立つ。 しかし、非線形干し草に針を見つけるために開発されたANN学習者は少ない。 1つのハイパーパラメータによって駆動される我々のANN学習者は、疎線形結合と同様に、針を回収する確率の位相遷移を示すが、他のANN学習者とは観察しない。 ペナルティパラメータを選択するために、保守的(あまりにも多くの誤検出)と高価な相互評価よりも良い規則であるドノホとジョンストンの普遍的閾値(1994年)を一般化する。 シミュレーションアニーリングの精神では,高次元,非凸,非微分可能最適化問題を解くためのウォームスタートスパーシティ誘導アルゴリズムを提案する。 提案手法の有効性を示すために,モンテカルロシミュレーションを高精度に行う。

関連論文リスト

• Dendrites endow artificial neural networks with accurate, robust and parameter-efficient learning [0.0]
  そこで本研究では,新しいANNアーキテクチャが,生物デンドライトの構造的接続性と制限されたサンプリング特性を取り入れていることを示す。 デンドライトANNは, 画像分類タスクにおいて, 従来のANNを過度に適合させ, 性能を向上する上で, より堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-04-04T11:22:58Z)
• Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and Luck [35.6883212537938]
  オフラインスパースパリティ学習は,多層パーセプトロンの勾配に基づくトレーニングにおいて,統計的クエリの下限を許容する教師付き分類問題である。 理論上, 実験上, 疎初期化とネットワーク幅の増大がサンプル効率を著しく向上させることを示す。 また,合成スパースパリティタスクは,軸方向の特徴学習を必要とする現実的な問題のプロキシとして有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-07T15:52:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Revisiting Gaussian Neurons for Online Clustering with Unknown Number of Clusters [0.0]
  参照するクラスタ数の最大限のオンラインクラスタリングを行う、新しいローカルラーニングルールが提示される。 実験結果は,学習パラメータの安定性を多数のトレーニングサンプルで実証した。
  論文  参考訳（メタデータ） (2022-05-02T14:01:40Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• What needles do sparse neural networks find in nonlinear haystacks [0.0]
  人工ニューラルネットワーク(ANN)におけるスパーシリティ誘導ペナルティは、特にノイズが高く、トレーニングセットが小さい状況において、過度な適合を避ける。 線形モデルの場合、そのようなアプローチは、適切なコセンのペナルティパラメータに対するレギュレーションにおいて高い確率で重要な特徴を確実に回復する。 簡単なモデルを用いてモンテカルロシミュレーションを行い,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2020-06-07T04:46:55Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。