論文の概要: Training neural networks using monotone variational inequality
- arxiv url: http://arxiv.org/abs/2202.08876v1
- Date: Thu, 17 Feb 2022 19:24:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 23:43:02.799708
- Title: Training neural networks using monotone variational inequality
- Title（参考訳）: 単調変分不等式を用いたニューラルネットワークの訓練
- Authors: Chen Xu, Xiuyuan Cheng, Yao Xie
- Abstract要約: 我々は凸構造を使い、変分不等式(MVI)を解決する。
合成データと実ネットワークデータの両方における勾配降下(SGD)と比較して,SVIの競争力や性能が向上したことを示す。
- 参考スコア（独自算出の注目度）: 22.140275054568985
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the vast empirical success of neural networks, theoretical
understanding of the training procedures remains limited, especially in
providing performance guarantees of testing performance due to the non-convex
nature of the optimization problem. Inspired by a recent work of (Juditsky &
Nemirovsky, 2019), instead of using the traditional loss function minimization
approach, we reduce the training of the network parameters to another problem
with convex structure -- to solve a monotone variational inequality (MVI). The
solution to MVI can be found by computationally efficient procedures, and
importantly, this leads to performance guarantee of $\ell_2$ and
$\ell_{\infty}$ bounds on model recovery accuracy and prediction accuracy under
the theoretical setting of training one-layer linear neural network. In
addition, we study the use of MVI for training multi-layer neural networks and
propose a practical algorithm called \textit{stochastic variational inequality}
(SVI), and demonstrates its applicability in training fully-connected neural
networks and graph neural networks (GNN) (SVI is completely general and can be
used to train other types of neural networks). We demonstrate the competitive
or better performance of SVI compared to the stochastic gradient descent (SGD)
on both synthetic and real network data prediction tasks regarding various
performance metrics.
- Abstract（参考訳）: ニューラルネットワークの実証的な成功にもかかわらず、トレーニング手順の理論的理解は限定的であり、特に最適化問題の非凸性により性能が保証される。
最近の研究(Juditsky & Nemirovsky, 2019)に触発されて、従来の損失関数最小化アプローチではなく、ネットワークパラメータのトレーニングを凸構造を持つ別の問題に還元し、モノトーン変分不等式(MVI)を解決する。
MVIの解は計算効率のよい手順で発見でき、さらに重要なことは、一層線形ニューラルネットワークの理論的設定の下でのモデル回復精度と予測精度に関する$\ell_2$および$\ell_{\infty}$バウンドの性能保証につながる。
さらに,マルチ層ニューラルネットワークのトレーニングにおけるMVIの利用について検討し,SVI(textit{stochastic variational inequality})と呼ばれる実用的アルゴリズムを提案し,完全に接続されたニューラルネットワークとグラフニューラルネットワーク(GNN)のトレーニングへの適用性を示した(SVIは完全に汎用的で,他のタイプのニューラルネットワークのトレーニングに使用できる)。
各種性能指標に関する実ネットワークデータ予測タスクにおいて,確率勾配降下(SGD)と比較して,SVIの競争力や性能が向上することを示した。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Analyzing Populations of Neural Networks via Dynamical Model Embedding [10.455447557943463]
ディープニューラルネットワークの解釈における中核的な課題は、同じタスクのためにトレーニングされた異なるネットワークによって実装された基盤となるアルゴリズム間の共通点を特定することである。
この問題に触発されたDYNAMOは,各点がニューラルネットワークモデルに対応する低次元多様体を構築するアルゴリズムであり,対応するニューラルネットワークが同様のハイレベルな計算処理を実行する場合,その近傍に2つの点が存在する。
DYNAMOは、事前訓練されたニューラルネットワークのコレクションを入力として、隠された状態のダイナミクスとコレクション内の任意のモデルの出力をエミュレートするメタモデルを出力する。
論文 参考訳（メタデータ） (2023-02-27T19:00:05Z) - Optimization-Informed Neural Networks [0.6853165736531939]
制約付き非線形最適化問題を解くために最適化インフォームドニューラルネットワーク(OINN)を提案する。
簡単に言うと、OINNはCNLPをニューラルネットワークトレーニング問題に変換する。
提案手法の有効性は古典的な問題の収集を通じて実証される。
論文 参考訳（メタデータ） (2022-10-05T09:28:55Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation [18.224344440110862]
提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
論文 参考訳（メタデータ） (2021-11-16T15:55:59Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Certified Monotonic Neural Networks [15.537695725617576]
本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。
我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
論文 参考訳（メタデータ） (2020-11-20T04:58:13Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。