論文の概要: Excitatory/Inhibitory Balance Emerges as a Key Factor for RBN Performance, Overriding Attractor Dynamics

• arxiv url: http://arxiv.org/abs/2308.10831v1
• Date: Wed, 2 Aug 2023 17:41:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-27 05:06:15.772930
• Title: Excitatory/Inhibitory Balance Emerges as a Key Factor for RBN Performance, Overriding Attractor Dynamics
• Title（参考訳）: RBN性能, オーバーライドトラクタダイナミクスの鍵因子としての興奮・抑制バランス
• Authors: Emmanuel Calvet, Jean Rouat, Bertrand Reulet
• Abstract要約: 貯留層コンピューティングは、伝統的な学習方法に代わる時間とコスト効率を提供する。 特定の分布パラメータが臨界点付近の様々な力学に導かれることを示す。 次に、記憶と予測という2つの困難なタスクにおける性能評価を行い、正の興奮バランスがより高いメモリ性能の臨界点を生み出すことを発見した。
• 参考スコア（独自算出の注目度）: 35.70635792124142
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reservoir computing provides a time and cost-efficient alternative to traditional learning methods.Critical regimes, known as the "edge of chaos," have been found to optimize computational performance in binary neural networks. However, little attention has been devoted to studying reservoir-to-reservoir variability when investigating the link between connectivity, dynamics, and performance. As physical reservoir computers become more prevalent, developing a systematic approach to network design is crucial. In this article, we examine Random Boolean Networks (RBNs) and demonstrate that specific distribution parameters can lead to diverse dynamics near critical points. We identify distinct dynamical attractors and quantify their statistics, revealing that most reservoirs possess a dominant attractor. We then evaluate performance in two challenging tasks, memorization and prediction, and find that a positive excitatory balance produces a critical point with higher memory performance. In comparison, a negative inhibitory balance delivers another critical point with better prediction performance. Interestingly, we show that the intrinsic attractor dynamics have little influence on performance in either case.
• Abstract（参考訳）: 貯水池計算は従来の学習法に代わる時間と費用効率の代替手段であり、二元ニューラルネットワークの計算性能を最適化するために「カオスのエッジ」として知られる批判的体制が発見されている。 しかし, 接続性, 力学, 性能の関連性を調べる際に, 貯水池と貯水池の変動についてはほとんど注目されていない。 物理的貯水池コンピュータが普及するにつれ、ネットワーク設計への体系的アプローチの開発が重要である。 本稿では,Random Boolean Networks (RBNs) について検討し,特定の分布パラメータが臨界点付近の多様なダイナミクスをもたらすことを示す。 異なる動的アトラクタを特定し,その統計を定量化し,ほとんどの貯水池が支配的なアトラクタを持っていることを明らかにした。 次に、記憶と予測という2つの課題で性能を評価し、ポジティブな興奮のバランスがメモリ性能の高い臨界点を生み出すことを見出した。 比較して、負の抑制バランスは、より良い予測性能を持つ別の重要なポイントをもたらす。 興味深いことに、内在的なアトラクタダイナミクスは、いずれの場合もパフォーマンスにほとんど影響がない。

関連論文リスト

• Understanding the Functional Roles of Modelling Components in Spiking Neural Networks [9.448298335007465]
  スパイキングニューラルネットワーク(SNN)は、生物学的忠実さで高い計算効率を達成することを約束している。 LIFに基づくSNNにおけるキーモデリングコンポーネント,リーク,リセット,再起動の機能的役割について検討する。 具体的には、メモリ保持とロバスト性のバランスにおいてリークが重要な役割を担い、リセット機構は未中断の時間的処理と計算効率に不可欠であり、リセットは、ロバストネス劣化を犠牲にして複雑なダイナミクスをモデル化する能力を強化する。
  論文  参考訳（メタデータ） (2024-03-25T12:13:20Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
  因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。 提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2024-02-22T13:22:06Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Robustness of Energy Landscape Control to Dephasing [0.0]
  対数感度関数によって測定された忠実度誤差のロバストさを,デフォーカスプロセスに解析する。 本研究で用いたログ感度計算は異なるが, どちらも, 重み付け誤差の対数感度が従来の性能とロバスト性とのトレードオフをもたらすことを示した。
  論文  参考訳（メタデータ） (2023-03-10T01:51:47Z)
• Optimal reservoir computers for forecasting systems of nonlinear dynamics [0.0]
  低接続性貯水池は、ノイズレスローレンツと結合したウィルソン・コーワンシステムの予測において、高接続性よりも優れた性能を示すことを示す。 また, 予期せぬ非連結ノード(RUN)の貯水池が, リンクネットワークトポロジの貯水池よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-09T09:36:31Z)
• On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
  我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。 ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。 さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
  論文  参考訳（メタデータ） (2021-06-08T10:07:23Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
  Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。 本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
  論文  参考訳（メタデータ） (2020-06-06T19:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。