論文の概要: Adaptive control of recurrent neural networks using conceptors
- arxiv url: http://arxiv.org/abs/2405.07236v1
- Date: Sun, 12 May 2024 09:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 17:47:28.560369
- Title: Adaptive control of recurrent neural networks using conceptors
- Title（参考訳）: コンセプタを用いたリカレントニューラルネットワークの適応制御
- Authors: Guillaume Pourcel, Mirko Goldmann, Ingo Fischer, Miguel C. Soriano,
- Abstract要約: リカレントニューラルネットワークは複雑な高次元の時間パターンの予測と生成に優れる。
機械学習の設定では、ネットワークのパラメータはトレーニングフェーズ中に適応され、与えられたタスク/プロブレムの要求に適合する。
トレーニング後にもネットワークの一部を適応させることで,その機能や堅牢性が向上することを示す。
- 参考スコア（独自算出の注目度）: 1.9686770963118383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Neural Networks excel at predicting and generating complex high-dimensional temporal patterns. Due to their inherent nonlinear dynamics and memory, they can learn unbounded temporal dependencies from data. In a Machine Learning setting, the network's parameters are adapted during a training phase to match the requirements of a given task/problem increasing its computational capabilities. After the training, the network parameters are kept fixed to exploit the learned computations. The static parameters thereby render the network unadaptive to changing conditions, such as external or internal perturbation. In this manuscript, we demonstrate how keeping parts of the network adaptive even after the training enhances its functionality and robustness. Here, we utilize the conceptor framework and conceptualize an adaptive control loop analyzing the network's behavior continuously and adjusting its time-varying internal representation to follow a desired target. We demonstrate how the added adaptivity of the network supports the computational functionality in three distinct tasks: interpolation of temporal patterns, stabilization against partial network degradation, and robustness against input distortion. Our results highlight the potential of adaptive networks in machine learning beyond training, enabling them to not only learn complex patterns but also dynamically adjust to changing environments, ultimately broadening their applicability.
- Abstract（参考訳）: リカレントニューラルネットワークは複雑な高次元の時間パターンの予測と生成に優れる。
本質的に非線形ダイナミクスとメモリのため、データから非有界時間依存を学習することができる。
機械学習の設定では、ネットワークのパラメータはトレーニングフェーズ中に適応され、与えられたタスク/プロブレムの要求に適合して計算能力が向上する。
トレーニング後、学習した計算を利用するために、ネットワークパラメータは固定される。
これにより、静的パラメータは、外部または内部の摂動のような変化条件に適応しないネットワークをレンダリングする。
本論文では,トレーニング後のネットワークの適応性維持が,その機能と堅牢性を高めることを実証する。
本稿では,ネットワークの動作を連続的に解析し,その時間変化した内部表現を所望の目標に従うように調整する適応制御ループを概念化する。
本稿では、時間的パターンの補間、部分的ネットワーク劣化に対する安定化、入力歪みに対する堅牢性という3つのタスクにおいて、ネットワークの適応性が計算機能をどのようにサポートするかを示す。
我々の研究結果は、機械学習における適応型ネットワークの可能性を強調し、複雑なパターンを学習するだけでなく、環境の変化に合わせて動的に調整し、最終的に適用範囲を広げることを可能にする。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Contrastive Representation Learning for Dynamic Link Prediction in Temporal Networks [1.9389881806157312]
本稿では,時間ネットワークの表現を学習するための自己教師付き手法を提案する。
本稿では、時間的ネットワークの時間的参照経路を介して情報の流れをモデル化するための、繰り返しメッセージパッシングニューラルネットワークアーキテクチャを提案する。
提案手法は、Enron、COLAB、Facebookのデータセットでテストされる。
論文 参考訳（メタデータ） (2024-08-22T22:50:46Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - A simple theory for training response of deep neural networks [0.0]
ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。
トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。
さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
論文 参考訳（メタデータ） (2024-05-07T07:20:15Z) - Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。
我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。
この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
論文 参考訳（メタデータ） (2024-04-08T17:33:11Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2023-10-05T21:44:18Z) - Dynamic Encoding and Decoding of Information for Split Learning in
Mobile-Edge Computing: Leveraging Information Bottleneck Theory [1.1151919978983582]
Split Learning(スプリットラーニング)は、MLモデルを2つの部分(エンコーダとデコーダ)に分割する、プライバシ保護の分散学習パラダイムである。
モバイルエッジコンピューティングでは、エンコーダがユーザ機器(UE)に、デコーダがエッジネットワークに、分割学習によってネットワーク機能を訓練することができる。
本稿では,送信リソース消費の動的バランスと,共有潜在表現の情報化を両立させるためのフレームワークとトレーニング機構を提案する。
論文 参考訳（メタデータ） (2023-09-06T07:04:37Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - Continual Adaptation for Deep Stereo [52.181067640300014]
本稿では,難易度と変化の激しい環境に対処するために,深層ステレオネットワークの継続的適応パラダイムを提案する。
我々のパラダイムでは、オンラインモデルに継続的に適応するために必要な学習信号は、右から左への画像ワープや従来のステレオアルゴリズムによって自己監督から得られる。
我々のネットワークアーキテクチャと適応アルゴリズムは、初めてのリアルタイム自己適応型ディープステレオシステムを実現する。
論文 参考訳（メタデータ） (2020-07-10T08:15:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。