論文の概要: Least Squares Training of Quadratic Convolutional Neural Networks with Applications to System Theory

• arxiv url: http://arxiv.org/abs/2411.08267v1
• Date: Wed, 13 Nov 2024 00:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:49.645638
• Title: Least Squares Training of Quadratic Convolutional Neural Networks with Applications to System Theory
• Title（参考訳）: 二次畳み込みニューラルネットワークの最小二乗学習とシステム理論への応用
• Authors: Zachary Yetman Van Egmond, Luis Rodrigues,
• Abstract要約: 本稿では,2層畳み込みニューラルネットワークのトレーニングのための最小2乗の定式化について述べる。 ネットワークの2次入力出力方程式とともに,大域的最適重みの解析式を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper provides a least squares formulation for the training of a 2-layer convolutional neural network using quadratic activation functions, a 2-norm loss function, and no regularization term. Using this method, an analytic expression for the globally optimal weights is obtained alongside a quadratic input-output equation for the network. These properties make the network a viable tool in system theory by enabling further analysis, such as the sensitivity of the output to perturbations in the input, which is crucial for safety-critical systems such as aircraft or autonomous vehicles.The least squares method is compared to previously proposed strategies for training quadratic networks and to a back-propagation-trained ReLU network. The proposed method is applied to a system identification problem and a GPS position estimation problem. The least squares network is shown to have a significantly reduced training time with minimal compromises on prediction accuracy alongside the advantages of having an analytic input-output equation. Although these results only apply to 2-layer networks, this paper motivates the exploration of deeper quadratic networks in the context of system theory.
• Abstract（参考訳）: 本稿では,2次活性化関数,2ノルム損失関数,正規化項を用いない2層畳み込みニューラルネットワークのトレーニングのための最小2乗の定式化について述べる。 この方法を用いて、ネットワークの2次入力出力方程式とともに、大域的最適重みの解析式を得る。 これらの特性は,航空機や自動運転車などの安全上重要なシステムにおいて重要な入力の摂動に対する出力の感度を,従来提案されていた二次ネットワークのトレーニング戦略やバックプロパゲーション訓練されたReLUネットワークと比較することにより,ネットワークをシステム理論において実行可能なツールにしている。 システム同定問題とGPS位置推定問題に本手法を適用した。 最小二乗ネットワークは、解析的な入出力方程式を持つ利点とともに、予測精度に最小限の妥協を伴って、トレーニング時間を著しく短縮することを示した。 これらの結果は2層ネットワークにのみ適用されるが、この論文はシステム理論の文脈においてより深い二次ネットワークの探索を動機付けている。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Finite Sample Identification of Wide Shallow Neural Networks with Biases [12.622813055808411]
  入力-出力対の有限標本からネットワークのパラメータを同定することは、しばしばエンプテラー-学生モデル(enmphteacher-student model)と呼ばれる。 本稿では,このような幅の広い浅層ネットワークに対して,構成的手法と有限標本同定の理論的保証を提供することにより,そのギャップを埋める。
  論文  参考訳（メタデータ） (2022-11-08T22:10:32Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Analysis and Design of Quadratic Neural Networks for Regression, Classification, and Lyapunov Control of Dynamical Systems [0.0]
  本稿では,2次ニューラルネットワークの解析と設計について述べる。 ネットワークにはいくつかの利点があり、最も重要なのはアーキテクチャが設計の副産物であり、アプリオリではないという事実である。 いくつかの例では、アプリケーションにおける二次ニューラルネットワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-07-26T18:10:05Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers [0.0]
  本稿では,構造化ニューラルネットワークを用いた方程式系の非線形モデル低減法を提案する。 本稿では,ニューラルネットワークの近似に適さないデータスカース方式の科学的問題に対して,本手法が適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-17T21:35:06Z)
• Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss [0.0]
  勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。 我々は、均一な活性化を伴う無限に広い2層ニューラルネットワークのトレーニングと一般化の挙動を解析する。
  論文  参考訳（メタデータ） (2020-02-11T15:42:09Z)
• Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
  ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。 2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
  論文  参考訳（メタデータ） (2019-12-31T22:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。