論文の概要: Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control
- arxiv url: http://arxiv.org/abs/2310.03915v3
- Date: Thu, 30 Nov 2023 15:50:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 23:12:36.158128
- Title: Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control
- Title(参考訳): ロバスト閉ループ制御のための低域とスパースリカレント接続性の改善
- Authors: Neehal Tumma, Mathias Lechner, Noel Loo, Ramin Hasani, Daniela Rus
- Abstract要約: 繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
- 参考スコア(独自算出の注目度): 63.310780486820796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing autonomous agents that can interact with changing environments is
an open challenge in machine learning. Robustness is particularly important in
these settings as agents are often fit offline on expert demonstrations but
deployed online where they must generalize to the closed feedback loop within
the environment. In this work, we explore the application of recurrent neural
networks to tasks of this nature and understand how a parameterization of their
recurrent connectivity influences robustness in closed-loop settings.
Specifically, we represent the recurrent connectivity as a function of rank and
sparsity and show both theoretically and empirically that modulating these two
variables has desirable effects on network dynamics. The proposed low-rank,
sparse connectivity induces an interpretable prior on the network that proves
to be most amenable for a class of models known as closed-form continuous-time
neural networks (CfCs). We find that CfCs with fewer parameters can outperform
their full-rank, fully-connected counterparts in the online setting under
distribution shift. This yields memory-efficient and robust agents while
opening a new perspective on how we can modulate network dynamics through
connectivity.
- Abstract(参考訳): 変化する環境と対話できる自律エージェントの開発は、機械学習におけるオープンな課題である。
エージェントは、しばしば専門家のデモンストレーションにオフラインで適合するが、環境内のクローズドフィードバックループに一般化しなくてはならないオンラインにデプロイされるため、これらの設定では特に重要である。
本研究では,この性質のタスクに対する再帰ニューラルネットワークの応用について検討し,その再帰接続のパラメータ化がクローズドループ設定におけるロバスト性にどのように影響するかを理解する。
具体的には、リカレント接続をランクとスパーシティの関数として表現し、これらの2変数の変調がネットワーク力学に望ましい影響があることを理論的および経験的に示す。
提案されている低ランクなスパース接続は、ネットワークに先立って解釈可能であり、クローズドフォーム連続時間ニューラルネットワーク(cfcs)として知られるモデル群にとって最も快適であることが証明される。
パラメータが少ないCfCは、分散シフトのオンライン設定において、フルランクで完全に接続されたCfCよりも優れていることが分かりました。
これにより、メモリ効率とロバストなエージェントが生まれ、接続を通じてネットワークのダイナミクスを制御できる新しい視点が開かれる。
関連論文リスト
- OR Residual Connection Achieving Comparable Accuracy to ADD Residual
Connection in Deep Residual Spiking Neural Networks [12.434147384452379]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
調査では,深部スパイクニューラルネットワークの代表であるSEW-ResNetが,非イベント駆動の操作を取り入れていることを確認した。
高量子化に起因するエネルギー損失を相殺するために、アーキテクチャにORRC(OR Residual connection)を導入する。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Optimal Connectivity through Network Gradients for the Restricted
Boltzmann Machine [0.0]
基本的な問題は、学習曲線を改善するための接続パターンを効率的に見つけることである。
最近のアプローチでは、モデルで最適化する必要があるパラメータとして、ネットワーク接続を明示的に含んでいます。
本研究は,ネットワーク勾配の考え方に基づいて,RBMの最適接続パターンを求める手法を提案する。
論文 参考訳(メタデータ) (2022-09-14T21:09:58Z) - Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。
我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2022-08-17T02:01:18Z) - Input correlations impede suppression of chaos and learning in balanced
rate networks [58.720142291102135]
ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。
平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
論文 参考訳(メタデータ) (2022-01-24T19:20:49Z) - On the role of feedback in visual processing: a predictive coding
perspective [0.6193838300896449]
我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。
ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。
さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
論文 参考訳(メタデータ) (2021-06-08T10:07:23Z) - Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper
Representations [12.716429755564821]
DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。
DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。
我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
論文 参考訳(メタデータ) (2021-01-18T02:30:13Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳(メタデータ) (2020-11-04T07:43:01Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Evaluating complexity and resilience trade-offs in emerging memory
inference machines [0.6970352368216021]
深層ニューラルネットワークのコンパクトな実装は、予期せず、複数のシステム障害から崩壊するおそれがあることが示される。
我々の研究は、モザイクフレームワークを利用した高性能で強力なレジリエンスへの中間経路を提案する。
論文 参考訳(メタデータ) (2020-02-25T21:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。