論文の概要: Dataset-learning duality and emergent criticality

• arxiv url: http://arxiv.org/abs/2405.17391v1
• Date: Mon, 27 May 2024 17:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:14:13.141084
• Title: Dataset-learning duality and emergent criticality
• Title（参考訳）: データセット学習の双対性と創発的臨界性
• Authors: Ekaterina Kukleva, Vitaly Vanchurin,
• Abstract要約: 訓練不能変数の部分空間と訓練可能変数の部分空間との間の双対写像を示す。 双対性を用いて臨界性の出現、あるいはトレーニング可能な変数のゆらぎのパワー-法則分布を研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In artificial neural networks, the activation dynamics of non-trainable variables is strongly coupled to the learning dynamics of trainable variables. During the activation pass, the boundary neurons (e.g., input neurons) are mapped to the bulk neurons (e.g., hidden neurons), and during the learning pass, both bulk and boundary neurons are mapped to changes in trainable variables (e.g., weights and biases). For example, in feed-forward neural networks, forward propagation is the activation pass and backward propagation is the learning pass. We show that a composition of the two maps establishes a duality map between a subspace of non-trainable boundary variables (e.g., dataset) and a tangent subspace of trainable variables (i.e., learning). In general, the dataset-learning duality is a complex non-linear map between high-dimensional spaces, but in a learning equilibrium, the problem can be linearized and reduced to many weakly coupled one-dimensional problems. We use the duality to study the emergence of criticality, or the power-law distributions of fluctuations of the trainable variables. In particular, we show that criticality can emerge in the learning system even from the dataset in a non-critical state, and that the power-law distribution can be modified by changing either the activation function or the loss function.
• Abstract（参考訳）: ニューラルネットワークでは、非学習変数の活性化ダイナミクスは、学習変数の学習力学と強く結びついている。 活性化パスの間、境界ニューロン(eg、入力ニューロン)はバルクニューロン(eg、隠されたニューロン)にマッピングされ、学習パスの間、バルクニューロンと境界ニューロンの両方がトレーニング可能な変数(eg、重み、バイアス)の変化にマッピングされる。 例えば、フィードフォワードニューラルネットワークでは、前方伝播はアクティベーションパス、後方伝播は学習パスである。 この2つの写像の構成は、非トレーニング可能な境界変数(例えば、データセット)の部分空間と、訓練可能な変数(すなわち、学習)の接部分空間との間の双対写像を確立することを示す。 一般に、データセット学習双対性は高次元空間間の複素非線形写像であるが、学習平衡においては、問題は線形化され、多くの弱い結合した一次元問題に還元することができる。 双対性を用いて臨界性の出現、あるいはトレーニング可能な変数のゆらぎのパワー-法則分布を研究する。 特に,非臨界状態のデータセットからでも,学習システムに臨界が出現し,アクティベーション関数や損失関数を変化させることで,ゆるい分布を修正可能であることを示す。

関連論文リスト

• Using Degeneracy in the Loss Landscape for Mechanistic Interpretability [0.0]
  機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークによって実装されたアルゴリズムを、その重みとアクティベーションを研究することによってリバースエンジニアリングすることを目的としている。 逆エンジニアリングニューラルネットワークの障害は、ネットワーク内の多くのパラメータが、ネットワークによって実装されている計算に関与していないことである。
  論文  参考訳（メタデータ） (2024-05-17T17:26:33Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• A Step Towards Uncovering The Structure of Multistable Neural Networks [1.14219428942199]
  本稿では,マルチスタブルリカレントニューラルネットワークの構造について検討する。 活性化関数は非平滑なヘビサイドステップ関数によって単純化される。 マルチスタビリティがネットワークアーキテクチャ内でどのようにコード化されるのかを導出する。
  論文  参考訳（メタデータ） (2022-10-06T22:54:17Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Towards a theory of quantum gravity from neural networks [0.0]
  トレーニング可能な変数の非平衡力学はマドルング方程式によって記述できることを示す。 ローレンツ対称性と湾曲時空は、学習によるエントロピー生成とエントロピー破壊の間の相互作用から生じる可能性があると論じる。
  論文  参考訳（メタデータ） (2021-10-28T12:39:01Z)
• Self-organized criticality in neural networks [0.0]
  本稿では,ニューラルネットワークの学習ダイナミクスが,自己組織的臨界状態に対して汎用的に惹きつけられていることを示す。 私たちの結果は、宇宙はニューラルネットワークかもしれないという主張を支持します。
  論文  参考訳（メタデータ） (2021-07-07T18:00:03Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Unitary Learning for Deep Diffractive Neural Network [0.0]
  深層拡散型ニューラルネットワーク上での一元学習プロトコルを提案する。 単元学習における時間空間の進化特性を定式化し解明する。 予備的な応用として、単位学習を伴う深層拡散ニューラルネットワークを2次元分類と検証タスクに仮実装する。
  論文  参考訳（メタデータ） (2020-08-17T07:16:09Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。