論文の概要: Using Linear Regression for Iteratively Training Neural Networks

• arxiv url: http://arxiv.org/abs/2307.05189v2
• Date: Fri, 14 Jul 2023 14:13:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 16:10:03.646271
• Title: Using Linear Regression for Iteratively Training Neural Networks
• Title（参考訳）: 線形回帰を用いたニューラルネットワークの反復学習
• Authors: Harshad Khadilkar
• Abstract要約: ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。 このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
• 参考スコア（独自算出の注目度）: 4.873362301533824
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a simple linear regression based approach for learning the weights and biases of a neural network, as an alternative to standard gradient based backpropagation. The present work is exploratory in nature, and we restrict the description and experiments to (i) simple feedforward neural networks, (ii) scalar (single output) regression problems, and (iii) invertible activation functions. However, the approach is intended to be extensible to larger, more complex architectures. The key idea is the observation that the input to every neuron in a neural network is a linear combination of the activations of neurons in the previous layer, as well as the parameters (weights and biases) of the layer. If we are able to compute the ideal total input values to every neuron by working backwards from the output, we can formulate the learning problem as a linear least squares problem which iterates between updating the parameters and the activation values. We present an explicit algorithm that implements this idea, and we show that (at least for small problems) the approach is more stable and faster than gradient-based methods.
• Abstract（参考訳）: ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを,標準勾配に基づくバックプロパゲーションの代替として提案する。 本研究は自然界において探索的であり,説明と実験に限定する。 (i)単純なフィードフォワードニューラルネットワーク。 (ii)スカラー(単一出力)回帰問題、及び (iii)可逆活性化機能。 しかし、このアプローチはより大きな、より複雑なアーキテクチャに拡張可能であることを意図している。 重要なアイデアは、ニューラルネットワーク内の各ニューロンへの入力が、前層におけるニューロンの活性化と、その層のパラメータ(重みとバイアス)の線形結合である、という観察である。 出力から逆向きに処理することで、各ニューロンに対する理想的な総入力値を計算することができれば、学習問題をパラメータの更新とアクティベーション値を繰り返す線形最小二乗問題として定式化することができる。 我々はこの考え方を実装する明示的なアルゴリズムを提案し、(少なくとも小さな問題に対して)アプローチが勾配に基づく手法よりも安定で高速であることを示す。

関連論文リスト

• Instance-wise Linearization of Neural Network for Model Interpretation [13.583425552511704]
  この課題は、ニューラルネットワークの非線形動作に潜むことができる。 ニューラルネットワークモデルでは、非線形な振る舞いはモデルの非線形なアクティベーションユニットによって引き起こされることが多い。 本稿では,ニューラルネットワーク予測のフォワード計算過程を再構成するインスタンスワイズ線形化手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T02:07:39Z)
• Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
  我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。 また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
  論文  参考訳（メタデータ） (2023-06-10T16:36:22Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Modeling the Nonsmoothness of Modern Neural Networks [35.93486244163653]
  ピークの大きさの和(SMP)という特徴を用いて不滑らかさを定量化する。 この非平滑性機能は、ニューラルネットワークの回帰ベースのアプリケーションのためのフォレンジックツールとして利用される可能性があると考えます。
  論文  参考訳（メタデータ） (2021-03-26T20:55:19Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Implicit Geometric Regularization for Learning Shapes [34.052738965233445]
  生データから直接高忠実度暗黙的ニューラル表現を計算するための新しいパラダイムを提供する。 提案手法は,従来の手法と比較して,高い精度と忠実度を有する暗黙的ニューラル表現の状態を導出することを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。