論文の概要: Hebbian learning inspired estimation of the linear regression parameters
from queries
- arxiv url: http://arxiv.org/abs/2311.03483v1
- Date: Tue, 26 Sep 2023 19:00:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 16:31:32.109923
- Title: Hebbian learning inspired estimation of the linear regression parameters
from queries
- Title(参考訳): ヘビアン学習によるクエリからの線形回帰パラメータの推定
- Authors: Johannes Schmidt-Hieber and Wouter M Koolen
- Abstract要約: 本稿では,線形回帰モデルにおける回帰ベクトルを復元するために,このヘビアン学習規則のバリエーションについて検討する。
我々は,このヘビアン学習規則が,データとは独立にクエリを選択する非適応的手法よりもはるかに高速に実行可能であることを証明した。
- 参考スコア(独自算出の注目度): 18.374824005225186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Local learning rules in biological neural networks (BNNs) are commonly
referred to as Hebbian learning. [26] links a biologically motivated Hebbian
learning rule to a specific zeroth-order optimization method. In this work, we
study a variation of this Hebbian learning rule to recover the regression
vector in the linear regression model. Zeroth-order optimization methods are
known to converge with suboptimal rate for large parameter dimension compared
to first-order methods like gradient descent, and are therefore thought to be
in general inferior. By establishing upper and lower bounds, we show, however,
that such methods achieve near-optimal rates if only queries of the linear
regression loss are available. Moreover, we prove that this Hebbian learning
rule can achieve considerably faster rates than any non-adaptive method that
selects the queries independently of the data.
- Abstract(参考訳): 生物学的ニューラルネットワーク(BNN)における局所学習規則は、一般にヘビアン学習と呼ばれる。
[26] は生物学的に動機付けられたヘビーンの学習規則と特定のゼロ階最適化法を結びつける。
本研究では,線形回帰モデルにおける回帰ベクトルを回復するために,このヘビー学習規則の変動について検討する。
ゼロ階最適化法は、勾配降下のような一階法に比べて大きなパラメータ次元の最適値に収束することが知られており、一般に劣っていると考えられている。
しかし,上下境界を確立することにより,線形回帰損失のクエリのみが利用可能であれば,そのような手法がほぼ最適となることを示す。
さらに,このヘビー学習規則は,データとは独立に問合せを選択できる非適応的手法よりもかなり高速であることを示す。
関連論文リスト
- Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - From inexact optimization to learning via gradient concentration [22.152317081922437]
本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。
本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
論文 参考訳(メタデータ) (2021-06-09T21:23:29Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳(メタデータ) (2021-03-16T16:26:36Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳(メタデータ) (2021-02-23T18:17:47Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z) - Benefit of deep learning with non-convex noisy gradient descent:
Provable excess risk bound and superiority to kernel methods [41.60125423028092]
線形推定器は,極小値の最適値の意味で,ディープラーニングにより性能が向上することを示した。
過剰な境界はいわゆる高速学習率であり、$O境界よりも高速である。
論文 参考訳(メタデータ) (2020-12-06T09:22:16Z) - On Generalization of Adaptive Methods for Over-parameterized Linear
Regression [27.156348760303864]
オーバーパラメータ化線形回帰設定における適応手法の性能を特徴付けることを目的としている。
オーバーパラメータ化線形回帰とディープニューラルネットワークに関する実験は、この理論を支持する。
論文 参考訳(メタデータ) (2020-11-28T04:19:32Z) - A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。
線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
論文 参考訳(メタデータ) (2020-11-15T18:19:42Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳(メタデータ) (2020-08-19T12:35:55Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳(メタデータ) (2020-06-29T23:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。