Fugu-MT 論文翻訳(概要): Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers

論文の概要: Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers

arxiv url: http://arxiv.org/abs/2112.15348v1
Date: Fri, 31 Dec 2021 08:43:04 GMT
ステータス: 処理完了
システム内更新日: 2022-01-03 21:12:29.425768
Title: Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers
Title（参考訳）: 逐次最小方形による繰り返しニューラルネットワークの訓練と乗算器の交互方向法
Authors: Alberto Bemporad
Abstract要約: 本稿では、最適隠れネットワークパラメータを決定するために凸と2倍の差分損失と正規化項を用いることを提案する。逐次最小二乗と交互方向乗算器を組み合わせる。このアルゴリズムの性能は非線形システム同定ベンチマークで検証される。
参考スコア（独自算出の注目度）: 0.20305676256390928
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For training recurrent neural network models of nonlinear dynamical systems from an input/output training dataset based on rather arbitrary convex and twice-differentiable loss functions and regularization terms, we propose the use of sequential least squares for determining the optimal network parameters and hidden states. In addition, to handle non-smooth regularization terms such as L1, L0, and group-Lasso regularizers, as well as to impose possibly non-convex constraints such as integer and mixed-integer constraints, we combine sequential least squares with the alternating direction method of multipliers (ADMM). The performance of the resulting algorithm, that we call NAILS (Nonconvex ADMM Iterations and Least Squares), is tested in a nonlinear system identification benchmark.
Abstract（参考訳）: 任意の凸と2次微分可能な損失関数と正規化項に基づく入力/出力トレーニングデータセットから非線形力学系の繰り返しニューラルネットワークモデルをトレーニングするために、最適ネットワークパラメータと隠れ状態を決定するための逐次最小二乗法を提案する。さらに,l1,l0,group-lasso正規化子などの非スムース正規化項を処理し,整数や混合整数制約などの非凸制約を課すため,逐次最小二乗法と乗算器の交互方向法(admm)を組み合わせた。 NAILS(Nonconvex ADMM Iterations and Least Squares)と呼ばれる結果のアルゴリズムの性能を非線形システム同定ベンチマークで検証する。

関連論文リスト

Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文参考訳（メタデータ） (2024-06-04T20:37:17Z)
Efficient model predictive control for nonlinear systems modelled by deep neural networks [6.5268245109828005]
本稿では、非線形性と不確実性が深層ニューラルネットワーク(NN)によってモデル化された動的システムのためのモデル予測制御(MPC)を提案する。 NN出力はシステム状態と制御入力の高次複素非線形性を含むため、MPC問題は非線形であり、リアルタイム制御では解決が難しい。
論文参考訳（メタデータ） (2024-05-16T18:05:18Z)
An L-BFGS-B approach for linear and nonlinear system identification under $\ell_1$- and group-Lasso regularization [0.0]
線形および非線形離散時間状態空間モデルを同定するための非常に効率的な数値計算法を提案する。提案手法のPython実装は、jax-sysidパッケージで利用可能である。
論文参考訳（メタデータ） (2024-03-06T16:17:34Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering [0.20305676256390928]
本研究では,非線形システム同定ベンチマークにおいて,学習手法が勾配勾配よりも優れていることを示す。また、データ駆動非線形モデル予測制御におけるアルゴリズムの利用と、オフセットフリートラッキングにおける外乱モデルとの関係についても検討する。
論文参考訳（メタデータ） (2021-11-04T07:49:15Z)
Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文参考訳（メタデータ） (2021-09-10T07:01:15Z)
Least-Squares ReLU Neural Network (LSNN) Method For Linear Advection-Reaction Equation [3.6525914200522656]
本稿では,不連続解を用いた線形対流-反作用問題の解法として,最小二乗ReLUニューラルネットワーク法について検討する。この方法は、ReLUニューラルネットワークの自由超平面を介して、基礎となる問題の不連続なインターフェースを自動で近似することができる。
論文参考訳（メタデータ） (2021-05-25T03:13:15Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Controllable Orthogonalization in Training DNNs [96.1365404059924]
直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
論文参考訳（メタデータ） (2020-04-02T10:14:27Z)
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。