論文の概要: Optimal input representation in neural systems at the edge of chaos

• arxiv url: http://arxiv.org/abs/2107.05709v1
• Date: Mon, 12 Jul 2021 19:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:29:34.277329
• Title: Optimal input representation in neural systems at the edge of chaos
• Title（参考訳）: カオスの端におけるニューラルネットワークの最適入力表現
• Authors: Guillermo B. Morales and Miguel A. Mu\~noz
• Abstract要約: 私たちは、人工知能ニューラルネットワークを構築し、画像を分類するように訓練します。 我々は,ネットワークが臨界点付近で動作している場合に,そのようなタスクで最高の性能が得られることを見出した。 私たちは、ほぼ臨界に近い操作は、通常主張される美徳以外に、柔軟で堅牢で効率的な入力表現を可能にするという利点がある、と結論付けました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Shedding light onto how biological systems represent, process and store information in noisy environments is a key and challenging goal. A stimulating, though controversial, hypothesis poses that operating in dynamical regimes near the edge of a phase transition, i.e. at criticality or the "edge of chaos", can provide information-processing living systems with important operational advantages, creating, e.g., an optimal trade-off between robustness and flexibility. Here, we elaborate on a recent theoretical result, which establishes that the spectrum of covariance matrices of neural networks representing complex inputs in a robust way needs to decay as a power-law of the rank, with an exponent close to unity, a result that has been indeed experimentally verified in neurons of the mouse visual cortex. Aimed at understanding and mimicking these results, we construct an artificial neural network and train it to classify images. Remarkably, we find that the best performance in such a task is obtained when the network operates near the critical point, at which the eigenspectrum of the covariance matrix follows the very same statistics as actual neurons do. Thus, we conclude that operating near criticality can also have -- besides the usually alleged virtues -- the advantage of allowing for flexible, robust and efficient input representations.
• Abstract（参考訳）: 生物システムがどのように情報を表現し、処理し、保存するかという課題は、重要かつ困難な目標である。 刺激的な仮説は議論を呼んでいるが、相転移の端近くで動的に作用する。 臨界または「カオスの端」は、情報処理の生体システムに重要な運用上の利点を与え、例えば、堅牢性と柔軟性の間の最適なトレードオフを作成する。 ここでは、複雑な入力を表すニューラルネットワークの共分散行列のスペクトルが、一元性に近い指数を持つランクのパワーローとして崩壊する必要があるという最近の理論結果について詳述し、マウス視覚野のニューロンで実際に実験的に検証された結果である。 これらの結果の理解と模倣を目的として,ニューラルネットワークを構築し,画像分類を訓練する。 驚くべきことに,ネットワークが臨界点付近で動作し,共分散行列の固有スペクトルが実際のニューロンと全く同じ統計値に従う場合,そのようなタスクにおける最高の性能が得られることがわかった。 したがって、危機に近い操作は、通常主張される美徳に加えて、柔軟で堅牢で効率的な入力表現を可能にする利点を持つことができると結論づける。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Exploring mechanisms of Neural Robustness: probing the bridge between geometry and spectrum [0.0]
  本研究では, 重み, ジャコビアン, スペクトル正規化による表現の滑らかさとスペクトルの関係について検討した。 本研究の目的は, 神経表現における幾何学的特徴, スペクトル特性, 頑健性, 表現性の間の相互作用を理解することである。
  論文  参考訳（メタデータ） (2024-02-05T12:06:00Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
  我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。 これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。 ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-19T11:32:24Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。