論文の概要: Controlled Descent Training

• arxiv url: http://arxiv.org/abs/2303.09216v1
• Date: Thu, 16 Mar 2023 10:45:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 15:59:28.136453
• Title: Controlled Descent Training
• Title（参考訳）: 制御降下訓練
• Authors: Viktor Andersson, Bal\'azs Varga, Vincent Szolnoky, Andreas Syr\'en, Rebecka J\"ornsten, Bal\'azs Kulcs\'ar
• Abstract要約: 最適制御理論により,新しいモデルベースニューラルネットワーク(ANN)トレーニング手法を開発した。 この方法は、トレーニング損失収束を確実に保証し、トレーニング収束率を向上させるために、トレーニングラベルを増強する。 本手法の適用性は, 標準回帰問題と分類問題において実証される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, a novel and model-based artificial neural network (ANN) training method is developed supported by optimal control theory. The method augments training labels in order to robustly guarantee training loss convergence and improve training convergence rate. Dynamic label augmentation is proposed within the framework of gradient descent training where the convergence of training loss is controlled. First, we capture the training behavior with the help of empirical Neural Tangent Kernels (NTK) and borrow tools from systems and control theory to analyze both the local and global training dynamics (e.g. stability, reachability). Second, we propose to dynamically alter the gradient descent training mechanism via fictitious labels as control inputs and an optimal state feedback policy. In this way, we enforce locally $\mathcal{H}_2$ optimal and convergent training behavior. The novel algorithm, \textit{Controlled Descent Training} (CDT), guarantees local convergence. CDT unleashes new potentials in the analysis, interpretation, and design of ANN architectures. The applicability of the method is demonstrated on standard regression and classification problems.
• Abstract（参考訳）: 本研究では、最適制御理論により、新しいモデルベースニューラルネットワーク(ANN)トレーニング手法を開発した。 この方法は、トレーニング損失収束を堅牢に保証し、トレーニング収束率を向上させるために、トレーニングラベルを補強する。 学習損失の収束が制御される勾配降下訓練の枠組みにおいて動的ラベル拡張が提案されている。 まず、経験的ニューラルネットワークカーネル(NTK)の助けを借りてトレーニング行動を捉え、システムと制御理論からツールを借りて、局所的およびグローバルなトレーニングダイナミクス(安定性、到達可能性など)を解析する。 第2に,制御入力と最適状態フィードバックポリシーとして,仮想ラベルを用いて勾配降下訓練機構を動的に変更することを提案する。 このようにして、局所的に$\mathcal{H}_2$Optimative and convergent training behaviorを実行する。 新たなアルゴリズムである \textit{Controlled Descent Training} (CDT) は局所収束を保証する。 CDTは、ANNアーキテクチャの分析、解釈、設計において、新たな可能性をもたらす。 本手法の適用性は, 標準回帰および分類問題において実証される。

関連論文リスト

• Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
  固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
  論文  参考訳（メタデータ） (2022-06-16T01:50:25Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Gradient Monitored Reinforcement Learning [0.0]
  我々は、強化学習アルゴリズムにおける訓練の強化と評価性能に焦点をあてる。 本稿では,トレーニングプロセス自体からの動的発達とフィードバックに基づいて,ニューラルネットワークの重みパラメータの学習をステアリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T13:45:47Z)
• DDPNOpt: Differential Dynamic Programming Neural Optimizer [29.82841891919951]
  トレーニングのための最も広く使われているアルゴリズムは、差分動的プログラミング(DDP)とリンク可能であることを示す。 本稿では,フィードフォワードと畳み込みネットワークをトレーニングするためのDDPOptの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:42:15Z)
• Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width [116.69845849754186]
  Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。 我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。 本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
  論文  参考訳（メタデータ） (2020-02-10T18:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。