論文の概要: Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control

• arxiv url: http://arxiv.org/abs/2310.03915v3
• Date: Thu, 30 Nov 2023 15:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 23:12:36.158128
• Title: Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control
• Title（参考訳）: ロバスト閉ループ制御のための低域とスパースリカレント接続性の改善
• Authors: Neehal Tumma, Mathias Lechner, Noel Loo, Ramin Hasani, Daniela Rus
• Abstract要約: 繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
• 参考スコア（独自算出の注目度）: 63.310780486820796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing autonomous agents that can interact with changing environments is an open challenge in machine learning. Robustness is particularly important in these settings as agents are often fit offline on expert demonstrations but deployed online where they must generalize to the closed feedback loop within the environment. In this work, we explore the application of recurrent neural networks to tasks of this nature and understand how a parameterization of their recurrent connectivity influences robustness in closed-loop settings. Specifically, we represent the recurrent connectivity as a function of rank and sparsity and show both theoretically and empirically that modulating these two variables has desirable effects on network dynamics. The proposed low-rank, sparse connectivity induces an interpretable prior on the network that proves to be most amenable for a class of models known as closed-form continuous-time neural networks (CfCs). We find that CfCs with fewer parameters can outperform their full-rank, fully-connected counterparts in the online setting under distribution shift. This yields memory-efficient and robust agents while opening a new perspective on how we can modulate network dynamics through connectivity.
• Abstract（参考訳）: 変化する環境と対話できる自律エージェントの開発は、機械学習におけるオープンな課題である。 エージェントは、しばしば専門家のデモンストレーションにオフラインで適合するが、環境内のクローズドフィードバックループに一般化しなくてはならないオンラインにデプロイされるため、これらの設定では特に重要である。 本研究では,この性質のタスクに対する再帰ニューラルネットワークの応用について検討し,その再帰接続のパラメータ化がクローズドループ設定におけるロバスト性にどのように影響するかを理解する。 具体的には、リカレント接続をランクとスパーシティの関数として表現し、これらの2変数の変調がネットワーク力学に望ましい影響があることを理論的および経験的に示す。 提案されている低ランクなスパース接続は、ネットワークに先立って解釈可能であり、クローズドフォーム連続時間ニューラルネットワーク(cfcs)として知られるモデル群にとって最も快適であることが証明される。 パラメータが少ないCfCは、分散シフトのオンライン設定において、フルランクで完全に接続されたCfCよりも優れていることが分かりました。 これにより、メモリ効率とロバストなエージェントが生まれ、接続を通じてネットワークのダイナミクスを制御できる新しい視点が開かれる。

関連論文リスト

• CaTs and DAGs: Integrating Directed Acyclic Graphs with Transformers and Fully-Connected Neural Networks for Causally Constrained Predictions [6.745494093127968]
  CFCN(Causal Fully-Connected Neural Networks)とCaT(Causal Transformers)を紹介する。 CFCNsとCaTsは、DAG(Directed Acyclic Graph)によって規定された、予め定義された因果制約の下で動作する これらのモデルは、基盤となる構造的制約に固執しながら、従来のニューラルネットワークの強力な関数近似能力を保持します。
  論文  参考訳（メタデータ） (2024-10-18T14:10:16Z)
• Adaptive control of recurrent neural networks using conceptors [1.9686770963118383]
  リカレントニューラルネットワークは複雑な高次元の時間パターンの予測と生成に優れる。 機械学習の設定では、ネットワークのパラメータはトレーニングフェーズ中に適応され、与えられたタスク/プロブレムの要求に適合する。 トレーニング後にもネットワークの一部を適応させることで,その機能や堅牢性が向上することを示す。
  論文  参考訳（メタデータ） (2024-05-12T09:58:03Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Optimal Connectivity through Network Gradients for the Restricted Boltzmann Machine [0.0]
  基本的な問題は、学習曲線を改善するための接続パターンを効率的に見つけることである。 最近のアプローチでは、モデルで最適化する必要があるパラメータとして、ネットワーク接続を明示的に含んでいます。 本研究は,ネットワーク勾配の考え方に基づいて,RBMの最適接続パターンを求める手法を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:58Z)
• Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
  チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。 我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-17T02:01:18Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
  我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。 ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。 さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
  論文  参考訳（メタデータ） (2021-06-08T10:07:23Z)
• Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations [12.716429755564821]
  DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。 DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。 我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-18T02:30:13Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。