論文の概要: Uncovering the Origins of Instability in Dynamical Systems: How Attention Mechanism Can Help?

• arxiv url: http://arxiv.org/abs/2212.09641v1
• Date: Mon, 19 Dec 2022 17:16:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:16:25.471170
• Title: Uncovering the Origins of Instability in Dynamical Systems: How Attention Mechanism Can Help?
• Title（参考訳）: 動的システムの不安定性の起源を明らかにする:注意機構はどのように役立つのか?
• Authors: Nooshin Bahador, Milad Lankarany
• Abstract要約: ネットワーク内の不均衡構造と極性駆動構造不安定性の集合的挙動に注意を向けるべきである。 本研究は,ネットワークのノードの摂動がネットワーク力学に劇的な変化をもたらす理由を理解するための概念実証である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The behavior of the network and its stability are governed by both dynamics of individual nodes as well as their topological interconnections. Attention mechanism as an integral part of neural network models was initially designed for natural language processing (NLP), and so far, has shown excellent performance in combining dynamics of individual nodes and the coupling strengths between them within a network. Despite undoubted impact of attention mechanism, it is not yet clear why some nodes of a network get higher attention weights. To come up with more explainable solutions, we tried to look at the problem from stability perspective. Based on stability theory, negative connections in a network can create feedback loops or other complex structures by allowing information to flow in the opposite direction. These structures play a critical role in the dynamics of a complex system and can contribute to abnormal synchronization, amplification, or suppression. We hypothesized that those nodes that are involved in organizing such structures can push the entire network into instability modes and therefore need higher attention during analysis. To test this hypothesis, attention mechanism along with spectral and topological stability analyses was performed on a real-world numerical problem, i.e., a linear Multi Input Multi Output state-space model of a piezoelectric tube actuator. The findings of our study suggest that the attention should be directed toward the collective behaviour of imbalanced structures and polarity-driven structural instabilities within the network. The results demonstrated that the nodes receiving more attention cause more instability in the system. Our study provides a proof of concept to understand why perturbing some nodes of a network may cause dramatic changes in the network dynamics.
• Abstract（参考訳）: ネットワークの挙動とその安定性は、個々のノードのダイナミクスとトポロジカルな相互接続の両方によって制御される。 ニューラルネットワークモデルの不可欠な部分としてのアテンション機構は、もともと自然言語処理(nlp)のために設計され、これまでのところ、個々のノードのダイナミクスとネットワーク内のそれらの間の結合強度の組み合わせにおいて優れた性能を示している。 注意機構の影響は疑いないが、ネットワークの一部のノードが注意重みを負う理由はまだ明らかではない。 より説明可能なソリューションを考え出すために、安定性の観点から問題を考察しようとした。 安定性理論に基づいて、ネットワーク内の負の接続は、情報を反対方向に流れることによってフィードバックループや他の複雑な構造を作ることができる。 これらの構造は複雑な系のダイナミクスにおいて重要な役割を担っており、異常な同期、増幅、抑制に寄与する。 このような構造の組織化に関与しているノードは、ネットワーク全体を不安定モードにし、分析中に注意を払う必要があると仮定した。 この仮説を検証するために,実世界の数値問題,すなわち圧電管アクチュエータの線形多入力状態空間モデルにおいて,スペクトル・位相安定性解析とともに注意機構が適用された。 本研究は、ネットワーク内の不均衡構造と極性駆動構造不安定性の集合的挙動に注意を向けるべきであることを示す。 その結果, ノードがより注意を惹きつけると, システムの不安定性が増すことが示された。 本研究は,ネットワークのノードの摂動がネットワーク力学に劇的な変化をもたらす理由を理解するための概念実証である。

関連論文リスト

• Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
  本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。 提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。 TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-07T20:44:53Z)
• Predicting Instability in Complex Oscillator Networks: Limitations and Potentials of Network Measures and Machine Learning [0.0]
  我々は46の関連するネットワーク測度を収集し、小さなサブセットが安定性を確実に予測できないことを発見した。 GNNの性能は、すべてのネットワーク測度とノードワイズ機械学習を組み合わせることでのみ一致できる。 このことは,ネットワーク計測と関数の相関関係が誤解を招く可能性があり,GNNが構造と安定性の因果関係をかなりよく捉えていることを示唆している。
  論文  参考訳（メタデータ） (2024-02-27T13:34:08Z)
• Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
  ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。 この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-16T02:11:27Z)
• Inferring the Graph of Networked Dynamical Systems under Partial Observability and Spatially Colored Noise [2.362288417229025]
  ネットワーク動的システム(Networked Dynamical System, NDS)では、各ノードが近隣ノードのダイナミクスと結合されたシステムである。 基盤となるネットワークは多くのアプリケーションで未知であり、観測データから推測されるべきである。
  論文  参考訳（メタデータ） (2023-12-18T16:19:07Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Global minimization via classical tunneling assisted by collective force field formation [3.0938904602244346]
  本稿では,次元の増加が動的不安定性に起因する力場を自在に生成する現象について述べる。 この集団的かつ非摂動的な効果を「リャプノフ力」と呼び、ポテンシャル関数の国際最小化に向けてシステムを操る。 このメカニズムはナノスケール物理学における物理的関連性や、最適化やモンテカルロの新しいスキーム、機械学習の応用にアピールしている。
  論文  参考訳（メタデータ） (2021-02-05T19:09:20Z)
• Problems of representation of electrocardiograms in convolutional neural networks [58.720142291102135]
  これらの問題は本質的に体系的であることを示す。 これらは、畳み込みネットワークが複合オブジェクトでどのように機能するかに起因するが、その一部は厳格に固定されていないが、大きな移動性を持っている。
  論文  参考訳（メタデータ） (2020-12-01T14:02:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。