論文の概要: Emergent learning in physical systems as feedback-based aging in a glassy landscape

• arxiv url: http://arxiv.org/abs/2309.04382v1
• Date: Fri, 8 Sep 2023 15:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:03:16.108755
• Title: Emergent learning in physical systems as feedback-based aging in a glassy landscape
• Title（参考訳）: 物理システムにおける創発的学習 : ガラス景観におけるフィードバックに基づく老化
• Authors: Vidyesh Rao Anisetti, Ananth Kandala, J. M. Schwarz
• Abstract要約: 学習力学は,フィードバック境界力の繰り返し適用に応答してシステムを緩和する老化過程に類似していることが示される。 また、エポック関数としての平均二乗誤差の平方根が、ガラス系の典型的な特徴である非指数形式をとることも観察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By training linear physical networks to learn linear transformations, we discern how their physical properties evolve due to weight update rules. Our findings highlight a striking similarity between the learning behaviors of such networks and the processes of aging and memory formation in disordered and glassy systems. We show that the learning dynamics resembles an aging process, where the system relaxes in response to repeated application of the feedback boundary forces in presence of an input force, thus encoding a memory of the input-output relationship. With this relaxation comes an increase in the correlation length, which is indicated by the two-point correlation function for the components of the network. We also observe that the square root of the mean-squared error as a function of epoch takes on a non-exponential form, which is a typical feature of glassy systems. This physical interpretation suggests that by encoding more detailed information into input and feedback boundary forces, the process of emergent learning can be rather ubiquitous and, thus, serve as a very early physical mechanism, from an evolutionary standpoint, for learning in biological systems.
• Abstract（参考訳）: 線形物理ネットワークを訓練して線形変換を学習することにより,重み更新規則によりその物理特性がどのように進化するかを見極める。 本研究は,このようなネットワークの学習行動と,不規則系およびガラス系における老化・記憶形成過程の類似性に注目した。 学習のダイナミクスは,入力力の存在下でフィードバック境界力の繰り返し適用に応答してシステムが緩和し,入出力関係の記憶を符号化する,老化過程に類似していることを示す。 この緩和により相関長が増加し、これはネットワークの構成要素の2点相関関数によって示される。 また,エポック関数としての平均二乗誤差の平方根が非指数形式をとることも観察し,ガラス系の典型的特徴である。 この物理的解釈は、より詳細な情報を入力とフィードバックの境界力にエンコードすることで、創発的学習のプロセスはむしろユビキタスになり、進化的観点から、生物システムにおける学習のための非常に初期の物理的メカニズムとなることを示唆している。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• A simple theory for training response of deep neural networks [0.0]
  ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。 トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。 さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
  論文  参考訳（メタデータ） (2024-05-07T07:20:15Z)
• A Waddington landscape for prototype learning in generalized Hopfield networks [0.0]
  一般化ホップフィールドネットワークの学習力学について検討する。 細胞が分化するにつれて、運河や低次元のダイナミックスと強い類似性が観察される。
  論文  参考訳（メタデータ） (2023-12-04T21:28:14Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• A Framework for Learning Invariant Physical Relations in Multimodal Sensory Processing [0.0]
  我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。 低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。 我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
  論文  参考訳（メタデータ） (2020-06-30T08:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。