Fugu-MT 論文翻訳(概要): Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems

論文の概要: Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems

arxiv url: http://arxiv.org/abs/2402.00761v1
Date: Thu, 1 Feb 2024 16:51:11 GMT
ステータス: 処理完了
システム内更新日: 2024-02-02 14:25:10.412555
Title: Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems
Title（参考訳）: 動的システムにおける深部ニューラルネットワークのオンライン適応制御理論
Authors: Jacob G. Elkins and Farbod Fahimi
Abstract要約: ディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。制御理論からDNNパラメータをオンラインで更新する手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs), trained with gradient-based optimization and backpropagation, are currently the primary tool in modern artificial intelligence, machine learning, and data science. In many applications, DNNs are trained offline, through supervised learning or reinforcement learning, and deployed online for inference. However, training DNNs with standard backpropagation and gradient-based optimization gives no intrinsic performance guarantees or bounds on the DNN, which is essential for applications such as controls. Additionally, many offline-training and online-inference problems, such as sim2real transfer of reinforcement learning policies, experience domain shift from the training distribution to the real-world distribution. To address these stability and transfer learning issues, we propose using techniques from control theory to update DNN parameters online. We formulate the fully-connected feedforward DNN as a continuous-time dynamical system, and we propose novel last-layer update laws that guarantee desirable error convergence under various conditions on the time derivative of the DNN input vector. We further show that training the DNN under spectral normalization controls the upper bound of the error trajectories of the online DNN predictions, which is desirable when numerically differentiated quantities or noisy state measurements are input to the DNN. The proposed online DNN adaptation laws are validated in simulation to learn the dynamics of the Van der Pol system under domain shift, where parameters are varied in inference from the training dataset. The simulations demonstrate the effectiveness of using control-theoretic techniques to derive performance improvements and guarantees in DNN-based learning systems.
Abstract（参考訳）: 勾配に基づく最適化とバックプロパゲーションをトレーニングしたディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。しかし、標準のバックプロパゲーションと勾配に基づく最適化によるDNNのトレーニングでは、DNNの固有の性能保証やバウンダリは提供されない。さらに、強化学習ポリシーのsim2real転送のようなオフライントレーニングやオンライン推論の多くの問題は、トレーニング分布から実世界の分布へのドメインシフトを経験する。そこで本研究では,dnnパラメータのオンライン更新に制御理論を用いた手法を提案する。我々は,完全連結フィードフォワードDNNを連続時間力学系として定式化し,DNN入力ベクトルの時間微分に基づいて,様々な条件下で許容誤差収束を保証する新しい最終層更新法を提案する。さらに、スペクトル正規化下でのDNNのトレーニングは、DNNに数値的に微分された量やノイズのある状態の測定が入力された場合に望ましいオンラインDNN予測の誤差軌跡の上限を制御することを示す。提案したオンラインDNN適応法則は、トレーニングデータセットからの推論でパラメータが変化する領域シフトの下で、Van der Polシステムのダイナミクスを学ぶためにシミュレーションで検証される。シミュレーションにより,DNNに基づく学習システムの性能向上と保証を導出するための制御理論手法の有効性が示された。

関連論文リスト

Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文参考訳（メタデータ） (2024-05-23T10:26:18Z)
Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。本稿では,DNNの学習効率を最適化する手法を提案する。
論文参考訳（メタデータ） (2023-10-17T03:11:30Z)
Brain-Inspired Spiking Neural Network for Online Unsupervised Time Series Prediction [13.521272923545409]
連続学習に基づく非教師付きリカレントスパイキングニューラルネットワークモデル(CLURSNN)を提案する。 CLURSNNは、ランダム遅延埋め込み(Random Delay Embedding)を使用して基盤となる動的システムを再構築することで、オンライン予測を行う。提案手法は,進化するロレンツ63力学系を予測する際に,最先端のDNNモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-04-10T16:18:37Z)
Adversarial Learning Networks: Source-free Unsupervised Domain Incremental Learning [0.0]
非定常環境では、DNNモデルの更新にはパラメータの再トレーニングやモデル微調整が必要である。 DNN分類モデルを更新するための教師なしソースフリー手法を提案する。既存の手法とは異なり,本手法では過去のトレーニングデータを格納することなく,非定常的なソースとターゲットタスクに対して段階的にDNNモデルを更新することができる。
論文参考訳（メタデータ） (2023-01-28T02:16:13Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
Deep neural network based adaptive learning for switched systems [0.3222802562733786]
スイッチングシステムに対するディープニューラルネットワークに基づく適応学習(DNN-AL)アプローチを提案する。観測されたデータセットは、各サブセット内の構造的変化など、アダプティブにサブセットに分解される。以前のイテレーションステップのネットワークパラメータは、後続のイテレーションステップでネットワークを初期化するために再利用される。
論文参考訳（メタデータ） (2022-07-11T04:51:58Z)
slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
論文参考訳（メタデータ） (2021-09-28T19:31:57Z)
Wide and Deep Graph Neural Network with Distributed Online Learning [174.8221510182559]
グラフニューラルネットワーク(GNN)は、ネットワークデータから表現を学習するための、自然に分散したアーキテクチャである。オンライン学習は、この問題を克服するためにテスト時にGNNを再トレーニングするために利用することができる。本稿では,分散オンライン学習機構で更新可能な新しいアーキテクチャであるWide and Deep GNN(WD-GNN)を開発する。
論文参考訳（メタデータ） (2021-07-19T23:56:48Z)
A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
論文参考訳（メタデータ） (2020-12-21T17:39:51Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。