論文の概要: Hebbian learning inspired estimation of the linear regression parameters from queries

• arxiv url: http://arxiv.org/abs/2311.03483v1
• Date: Tue, 26 Sep 2023 19:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 16:31:32.109923
• Title: Hebbian learning inspired estimation of the linear regression parameters from queries
• Title（参考訳）: ヘビアン学習によるクエリからの線形回帰パラメータの推定
• Authors: Johannes Schmidt-Hieber and Wouter M Koolen
• Abstract要約: 本稿では,線形回帰モデルにおける回帰ベクトルを復元するために,このヘビアン学習規則のバリエーションについて検討する。 我々は,このヘビアン学習規則が,データとは独立にクエリを選択する非適応的手法よりもはるかに高速に実行可能であることを証明した。
• 参考スコア（独自算出の注目度）: 18.374824005225186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Local learning rules in biological neural networks (BNNs) are commonly referred to as Hebbian learning. [26] links a biologically motivated Hebbian learning rule to a specific zeroth-order optimization method. In this work, we study a variation of this Hebbian learning rule to recover the regression vector in the linear regression model. Zeroth-order optimization methods are known to converge with suboptimal rate for large parameter dimension compared to first-order methods like gradient descent, and are therefore thought to be in general inferior. By establishing upper and lower bounds, we show, however, that such methods achieve near-optimal rates if only queries of the linear regression loss are available. Moreover, we prove that this Hebbian learning rule can achieve considerably faster rates than any non-adaptive method that selects the queries independently of the data.
• Abstract（参考訳）: 生物学的ニューラルネットワーク(BNN)における局所学習規則は、一般にヘビアン学習と呼ばれる。 [26] は生物学的に動機付けられたヘビーンの学習規則と特定のゼロ階最適化法を結びつける。 本研究では,線形回帰モデルにおける回帰ベクトルを回復するために,このヘビー学習規則の変動について検討する。 ゼロ階最適化法は、勾配降下のような一階法に比べて大きなパラメータ次元の最適値に収束することが知られており、一般に劣っていると考えられている。 しかし,上下境界を確立することにより,線形回帰損失のクエリのみが利用可能であれば,そのような手法がほぼ最適となることを示す。 さらに,このヘビー学習規則は,データとは独立に問合せを選択できる非適応的手法よりもかなり高速であることを示す。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• From inexact optimization to learning via gradient concentration [22.152317081922437]
  本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。 本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
  論文  参考訳（メタデータ） (2021-06-09T21:23:29Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
  近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。 ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
  論文  参考訳（メタデータ） (2021-02-23T18:17:47Z)
• Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods [41.60125423028092]
  線形推定器は,極小値の最適値の意味で,ディープラーニングにより性能が向上することを示した。 過剰な境界はいわゆる高速学習率であり、$O境界よりも高速である。
  論文  参考訳（メタデータ） (2020-12-06T09:22:16Z)
• On Generalization of Adaptive Methods for Over-parameterized Linear Regression [27.156348760303864]
  オーバーパラメータ化線形回帰設定における適応手法の性能を特徴付けることを目的としている。 オーバーパラメータ化線形回帰とディープニューラルネットワークに関する実験は、この理論を支持する。
  論文  参考訳（メタデータ） (2020-11-28T04:19:32Z)
• A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
  深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。 線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
  論文  参考訳（メタデータ） (2020-11-15T18:19:42Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。