論文の概要: Exploiting Chaotic Dynamics as Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2406.02580v1
• Date: Wed, 29 May 2024 22:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 15:49:54.082135
• Title: Exploiting Chaotic Dynamics as Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークとしてのカオスダイナミクスの爆発
• Authors: Shuhong Liu, Nozomi Akashi, Qingyao Huang, Yasuo Kuniyoshi, Kohei Nakajima,
• Abstract要約: カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。 本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。 この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
• 参考スコア（独自算出の注目度）: 1.9282110216621833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chaos presents complex dynamics arising from nonlinearity and a sensitivity to initial states. These characteristics suggest a depth of expressivity that underscores their potential for advanced computational applications. However, strategies to effectively exploit chaotic dynamics for information processing have largely remained elusive. In this study, we reveal that the essence of chaos can be found in various state-of-the-art deep neural networks. Drawing inspiration from this revelation, we propose a novel method that directly leverages chaotic dynamics for deep learning architectures. Our approach is systematically evaluated across distinct chaotic systems. In all instances, our framework presents superior results to conventional deep neural networks in terms of accuracy, convergence speed, and efficiency. Furthermore, we found an active role of transient chaos formation in our scheme. Collectively, this study offers a new path for the integration of chaos, which has long been overlooked in information processing, and provides insights into the prospective fusion of chaotic dynamics within the domains of machine learning and neuromorphic computation.
• Abstract（参考訳）: カオスは、非線形性および初期状態に対する感度から生じる複素ダイナミクスを示す。 これらの特徴は、高度な計算応用のポテンシャルを裏付ける表現性の深さを示唆している。 しかし、情報処理にカオス力学を効果的に活用するための戦略は、ほとんど解明されていない。 本研究では,様々な最先端の深層ニューラルネットワークでカオスの本質を見出すことができることを示した。 この啓示から着想を得た本研究では,カオス力学を直接活用して深層学習アーキテクチャを提案する。 我々のアプローチは、異なるカオスシステムにまたがって体系的に評価される。 すべての場合において、我々のフレームワークは精度、収束速度、効率の点で従来のディープニューラルネットワークに優れた結果をもたらす。 さらに,本手法では,過渡的カオス形成の活発な役割を見出した。 この研究は、情報処理において長年見過ごされてきたカオスの統合のための新しい経路を提供し、機械学習とニューロモルフィック計算の領域におけるカオス力学の将来的な融合に関する洞察を提供する。

関連論文リスト

• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
  浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。 我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。 この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
  論文  参考訳（メタデータ） (2024-04-08T17:33:11Z)
• Deep Learning-based Analysis of Basins of Attraction [49.812879456944984]
  本研究は,様々な力学系における盆地の複雑さと予測不可能性を特徴づけることの課題に対処する。 主な焦点は、この分野における畳み込みニューラルネットワーク(CNN)の効率性を示すことである。
  論文  参考訳（メタデータ） (2023-09-27T15:41:12Z)
• Learning low-dimensional dynamics from whole-brain data improves task capture [2.82277518679026]
  逐次変分オートエンコーダ(SVAE)を用いたニューラルダイナミクスの低次元近似学習手法を提案する。 本手法は,従来の手法よりも精度の高い認知過程を予測できるスムーズなダイナミクスを見出す。 我々は、モータ、ワーキングメモリ、リレーショナル処理タスクを含む様々なタスクfMRIデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-05-18T18:43:13Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
  強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。 このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。 我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
  論文  参考訳（メタデータ） (2020-07-21T11:48:22Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。