論文の概要: Dataset-learning duality and emergent criticality

• arxiv url: http://arxiv.org/abs/2405.17391v2
• Date: Fri, 16 Aug 2024 15:29:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 19:52:42.544444
• Title: Dataset-learning duality and emergent criticality
• Title（参考訳）: データセット学習の双対性と創発的臨界性
• Authors: Ekaterina Kukleva, Vitaly Vanchurin,
• Abstract要約: 訓練不能変数の部分空間と訓練可能変数の部分空間との間の双対写像を示す。 双対性を用いて臨界性の出現、あるいはトレーニング可能な変数のゆらぎのパワー-法則分布を研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In artificial neural networks, the activation dynamics of non-trainable variables is strongly coupled to the learning dynamics of trainable variables. During the activation pass, the boundary neurons (e.g., input neurons) are mapped to the bulk neurons (e.g., hidden neurons), and during the learning pass, both bulk and boundary neurons are mapped to changes in trainable variables (e.g., weights and biases). For example, in feed-forward neural networks, forward propagation is the activation pass and backward propagation is the learning pass. We show that a composition of the two maps establishes a duality map between a subspace of non-trainable boundary variables (e.g., dataset) and a tangent subspace of trainable variables (i.e., learning). In general, the dataset-learning duality is a complex non-linear map between high-dimensional spaces, but in a learning equilibrium, the problem can be linearized and reduced to many weakly coupled one-dimensional problems. We use the duality to study the emergence of criticality, or the power-law distributions of fluctuations of the trainable variables. In particular, we show that criticality can emerge in the learning system even from the dataset in a non-critical state, and that the power-law distribution can be modified by changing either the activation function or the loss function.
• Abstract（参考訳）: ニューラルネットワークでは、非学習変数の活性化ダイナミクスは、学習変数の学習力学と強く結びついている。 活性化パスの間、境界ニューロン(eg、入力ニューロン)はバルクニューロン(eg、隠されたニューロン)にマッピングされ、学習パスの間、バルクニューロンと境界ニューロンの両方がトレーニング可能な変数(eg、重み、バイアス)の変化にマッピングされる。 例えば、フィードフォワードニューラルネットワークでは、前方伝播はアクティベーションパス、後方伝播は学習パスである。 この2つの写像の構成は、非トレーニング可能な境界変数(例えば、データセット)の部分空間と、訓練可能な変数(すなわち、学習)の接部分空間との間の双対写像を確立することを示す。 一般に、データセット学習双対性は高次元空間間の複素非線形写像であるが、学習平衡においては、問題は線形化され、多くの弱い結合した一次元問題に還元することができる。 双対性を用いて臨界性の出現、あるいはトレーニング可能な変数のゆらぎのパワー-法則分布を研究する。 特に,非臨界状態のデータセットからでも,学習システムに臨界が出現し,アクティベーション関数や損失関数を変化させることで,ゆるい分布を修正可能であることを示す。

関連論文リスト

• Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。 我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Dynamical transition in controllable quantum neural networks with large depth [7.22617261255808]
  2次損失関数を持つ量子ニューラルネットワークのトレーニング力学は、一般化されたロトカ・ボルテラ方程式によって説明できることを示す。 凍結エラー力学における2次損失関数は、トレーニング収束の高速化を可能にすることを示す。 この理論はIBMの量子デバイスで実験的に検証されている。
  論文  参考訳（メタデータ） (2023-11-29T23:14:33Z)
• A Step Towards Uncovering The Structure of Multistable Neural Networks [1.14219428942199]
  本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。 活性化関数は非平滑なヘビサイドステップ関数によって単純化される。 マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
  論文  参考訳（メタデータ） (2022-10-06T22:54:17Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Towards a theory of quantum gravity from neural networks [0.0]
  トレーニング可能な変数の非平衡力学はマドルング方程式によって記述できることを示す。 ローレンツ対称性と湾曲時空は、学習によるエントロピー生成とエントロピー破壊の間の相互作用から生じる可能性があると論じる。
  論文  参考訳（メタデータ） (2021-10-28T12:39:01Z)
• Self-organized criticality in neural networks [0.0]
  本稿では,ニューラルネットワークの学習ダイナミクスが,自己組織的臨界状態に対して汎用的に惹きつけられていることを示す。 私たちの結果は、宇宙はニューラルネットワークかもしれないという主張を支持します。
  論文  参考訳（メタデータ） (2021-07-07T18:00:03Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Unitary Learning for Deep Diffractive Neural Network [0.0]
  深層拡散型ニューラルネットワーク上での一元学習プロトコルを提案する。 単元学習における時間空間の進化特性を定式化し解明する。 予備的な応用として、単位学習を伴う深層拡散ニューラルネットワークを2次元分類と検証タスクに仮実装する。
  論文  参考訳（メタデータ） (2020-08-17T07:16:09Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。