論文の概要: Regularized Least Squares Training of Quadratic Neural Networks with Applications to System Identification

• arxiv url: http://arxiv.org/abs/2609.17654v1
• Date: Tue, 15 Sep 2026 17:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.480509
• Title: Regularized Least Squares Training of Quadratic Neural Networks with Applications to System Identification
• Title（参考訳）: 擬似ニューラルネットワークの正規化最小二乗学習とシステム同定への応用
• Abstract要約: 本稿では、正規化を伴う2次ニューラルネットワークのトレーニングのための最小2乗アプローチを提案する。 近似解とその感度に対する閉形式表現が得られる。 提案した最小二乗学習は非線形システム同定例に適用可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes a least squares approach for the training of quadratic neural networks with regularization. The proposed methodology yields a lower bound on the solution of the training optimization problem for the case where the regularization coefficient is positive. Moreover, it yields closed-form expressions for the approximate solution and its sensitivity The lower bound is tight and the approximate solution is the optimal solution when the regularization coefficient is zero. Having a closed-form expression for the weights reduces considerably the computational time when compared with iterative numerical methods such as backpropagation that can get stuck in local minima. The proposed approach has three main contributions, namely, (i) it yields an analytical expression for the weights, (ii) an analytical expression for the sensitivity of the weights to errors in the data is also provided, (iii) it establishes a connection between the optimization to compute a lower bound and nuclear norm minimization. The proposed least squares training is successfully applied to a nonlinear system identification example where the proposed lower bound is compared with the optimal value.
• Abstract（参考訳）: 本稿では、正規化を伴う2次ニューラルネットワークのトレーニングのための最小2乗アプローチを提案する。 提案手法は,正則化係数が正の場合には,トレーニング最適化問題の解に対する下限を導出する。 さらに、近似解とその感度に対する閉形式式を得る 下界はきつく、近似解は正則化係数がゼロのとき最適解である。 ウェイトに対する閉形式表現を持つことは、局所的なミニマで立ち往生するバックプロパゲーションのような反復的な数値法と比較すると、計算時間をかなり短縮する。 提案されたアプローチには3つの主要な貢献がある。 一 重量の分析式を産出すること。 二 データの誤りに対する重みの感度に関する分析式も提供する。 第三に、低い境界を計算する最適化と核ノルム最小化との接続を確立すること。 提案した最小二乗学習は、提案した下界を最適値と比較した非線形システム同定例に適用できる。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics [5.915970073098098]
  浅層ニューラルネットワーク(NN)の訓練に伴う3つの非次元最適化問題に対処する。 我々はこれらの問題と表現を凸化し、不在緩和ギャップを証明するために代表者勾配を適用した。 我々はこれらの境界に対する鍵パラメータの影響を分析し、最適な選択を提案する。 高次元データセットに対して,勾配降下と組み合わせて効率的な解を求めるスペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-02T15:40:29Z)
• Rational-WENO: A lightweight, physically-consistent three-point weighted essentially non-oscillatory scheme [14.120671138290104]
  我々は、解の局所的な滑らかさを正確に推定するために有理ニューラルネットワークを用いる。 この手法は, 散逸を著しく低減した粒度の再構築を実現する。 提案手法の有効性を,数個の1次元,2次元,3次元の流体問題に対して示す。
  論文  参考訳（メタデータ） (2024-09-13T22:11:03Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [9.788112471288057]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 凸プログラミング問題に対する最適パラメトリック解を特徴付ける。 必要かつ十分な条件を導出することにより、両スキームがグローバルな最適解を保証できることが示される。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• On Asymptotic Linear Convergence of Projected Gradient Descent for Constrained Least Squares [22.851500417035947]
  この写本は、制約最小二乗の文脈における射影勾配降下の解析のための統一的な枠組みを提示する。 本稿では,PGDの収束解析のレシピを提示し,このレシピを4つの基本的な問題に応用して実証する。
  論文  参考訳（メタデータ） (2021-12-22T09:49:51Z)
• On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
  ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。 これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
  論文  参考訳（メタデータ） (2020-11-06T11:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。