論文の概要: A Novel Explanation Against Linear Neural Networks

• arxiv url: http://arxiv.org/abs/2401.00186v1
• Date: Sat, 30 Dec 2023 09:44:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 18:30:08.514066
• Title: A Novel Explanation Against Linear Neural Networks
• Title（参考訳）: リニアニューラルネットワークに対する新しい説明法
• Authors: Anish Lakkapragada
• Abstract要約: 線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
• 参考スコア（独自算出の注目度）: 1.223779595809275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear Regression and neural networks are widely used to model data. Neural networks distinguish themselves from linear regression with their use of activation functions that enable modeling nonlinear functions. The standard argument for these activation functions is that without them, neural networks only can model a line. However, a novel explanation we propose in this paper for the impracticality of neural networks without activation functions, or linear neural networks, is that they actually reduce both training and testing performance. Having more parameters makes LNNs harder to optimize, and thus they require more training iterations than linear regression to even potentially converge to the optimal solution. We prove this hypothesis through an analysis of the optimization of an LNN and rigorous testing comparing the performance between both LNNs and linear regression on synthethic, noisy datasets.
• Abstract（参考訳）: 線形回帰とニューラルネットワークはデータモデリングに広く使われている。 ニューラルネットワークは、非線形関数のモデリングを可能にするアクティベーション関数を使用することで、線形回帰と自身を区別する。 これらのアクティベーション関数の標準的な引数は、ニューラルネットワークが行をモデル化できないことである。 しかし,活性化機能を持たないニューラルネットワークや線形ニューラルネットワークの非現実性について,本論文で提案する新たな説明は,実際にトレーニングとテストの両方のパフォーマンスを低下させることである。 パラメータが増えると最適化が難しくなり、線形回帰よりも多くのトレーニングイテレーションが必要となり、最適な解に収束する可能性さえある。 この仮説は,LNNの最適化と厳密なテストにより,合成・雑音データセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。

関連論文リスト

• Linearization of ReLU Activation Function for Neural Network-Embedded Optimization:Optimal Day-Ahead Energy Scheduling [0.2900810893770134]
  電池劣化ニューラルネットワークに基づくマイクログリッドデイアヘッドエネルギースケジューリングのような応用では、訓練された学習モデルの入力特徴は最適化モデルで解決すべき変数である。 ニューラルネットワークにおける非線形アクティベーション関数の使用は、解けなければそのような問題を極端に解決し難いものにする。 本稿では, 非線形活性化関数を, 広く用いられている整流線形単位(ReLU)関数に着目して線形化する方法について検討した。
  論文  参考訳（メタデータ） (2023-10-03T02:47:38Z)
• Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
  ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。 このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
  論文  参考訳（メタデータ） (2023-07-11T11:53:25Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Reverse engineering recurrent neural networks with Jacobian switching linear dynamical systems [24.0378100479104]
  リカレントニューラルネットワーク(RNN)は時系列データを処理する強力なモデルである。 トレーニングされたRNNをその固定点を中心に線形化することでリバースエンジニアリングするフレームワークは洞察を与えてきたが、アプローチには大きな課題がある。 本稿では,新しい線形力学系 (SLDS) の定式化によるRNNの協調学習により,これらの制約を克服する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-01T20:49:30Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Nonlinear computations in spiking neural networks through multiplicative synapses [3.1498833540989413]
  非線形計算は、スパイクニューラルネットワークでうまく実装できる。 これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。 いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
  論文  参考訳（メタデータ） (2020-09-08T16:47:27Z)
• The Power of Linear Recurrent Neural Networks [1.124958340749622]
  自己回帰線形,すなわち線形活性化リカレントニューラルネットワーク(LRNN)が,任意の時間依存関数f(t)を近似できることを示す。 LRNNは、最小限のユニット数でMSOタスクのこれまでの最先端を上回ります。
  論文  参考訳（メタデータ） (2018-02-09T15:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。