論文の概要: 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space

• arxiv url: http://arxiv.org/abs/1912.12942v1
• Date: Mon, 30 Dec 2019 14:37:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 02:59:31.915027
• Title: 'Place-cell' emergence and learning of invariant data with restricted Boltzmann machines: breaking and dynamical restoration of continuous symmetries in the weight space
• Title（参考訳）: 制限ボルツマン機械による不変データの「位置セル」の出現と学習--重み空間における連続対称性の破れと動的復元
• Authors: Moshir Harsh (LPENS, PSL), J\'er\^ome Tubiana (TAU-CS), Simona Cocco (LPENS, PSL), Remi Monasson (LPENS, PSL)
• Abstract要約: 本稿では,表現学習のためのニューラルネットワークパラダイムである拘束ボルツマンマシン(RBM)の学習力学について検討する。 ネットワーク重みのランダムな構成から学習が進むにつれて、対称性を破る現象の存在が示される。 この対称性を破る現象は、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributions of data or sensory stimuli often enjoy underlying invariances. How and to what extent those symmetries are captured by unsupervised learning methods is a relevant question in machine learning and in computational neuroscience. We study here, through a combination of numerical and analytical tools, the learning dynamics of Restricted Boltzmann Machines (RBM), a neural network paradigm for representation learning. As learning proceeds from a random configuration of the network weights, we show the existence of, and characterize a symmetry-breaking phenomenon, in which the latent variables acquire receptive fields focusing on limited parts of the invariant manifold supporting the data. The symmetry is restored at large learning times through the diffusion of the receptive field over the invariant manifold; hence, the RBM effectively spans a continuous attractor in the space of network weights. This symmetry-breaking phenomenon takes place only if the amount of data available for training exceeds some critical value, depending on the network size and the intensity of symmetry-induced correlations in the data; below this 'retarded-learning' threshold, the network weights are essentially noisy and overfit the data.
• Abstract（参考訳）: データや感覚刺激の分布は、しばしば根底にある不変性を楽しむ。 これらの対称性が教師なしの学習方法によってどのように、どの程度捕獲されるかは、機械学習と計算神経科学において関連する問題である。 本研究では,表現学習のためのニューラルネットワークパラダイムである制限ボルツマンマシン(rbm)の学習ダイナミクスを,数値的および解析的ツールの組み合わせで研究する。 ネットワーク重みのランダムな構成から学習が進むにつれて、データをサポートする不変多様体の限られた部分に焦点を当てた受容場を潜在変数が獲得する対称性破壊現象の存在、特徴付けを行う。 対称性は不変多様体上の受容場が拡散することによって、大きな学習時間で復元されるため、RBMはネットワーク重みの空間において、効果的に連続的な誘引子にまたがる。 この対称性を破る現象は、ネットワークサイズとデータ内の対称性によって引き起こされる相関の強度によって、トレーニングに利用できるデータの量がいくつかの臨界値を超える場合にのみ起こる。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Tipping Points of Evolving Epidemiological Networks: Machine Learning-Assisted, Data-Driven Effective Modeling [0.0]
  適応型感受性感染症(SIS)疫学ネットワークのチップポイント集団動態を,データ駆動型機械学習支援方式で検討した。 複素実効微分方程式(eSDE)を物理的に有意な粗い平均場変数で同定する。 本研究では, 頻繁な現象の統計を, 繰り返しブルート力シミュレーションと, 確立された数学的・計算ツールを用いて研究する。
  論文  参考訳（メタデータ） (2023-11-01T19:33:03Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Imaginary components of out-of-time correlators and information scrambling for navigating the learning landscape of a quantum machine learning model [0.0]
  我々は、時間外相関器の未探索の虚構成分が、グラフニューラルネットワークの情報スクランブル能力に関する前例のない洞察を与えることができることを分析的に説明する。 このような分析は、量子情報がそのようなネットワークを介してどのようにスクランブルされるかを明らかにすることによって、量子機械学習モデルのトレーニングをデミステレーションする。
  論文  参考訳（メタデータ） (2022-08-29T06:17:28Z)
• Analyzing the Effects of Handling Data Imbalance on Learned Features from Medical Images by Looking Into the Models [50.537859423741644]
  不均衡なデータセットでモデルをトレーニングすることは、学習問題にユニークな課題をもたらす可能性がある。 ニューラルネットワークの内部ユニットを深く調べて、データの不均衡処理が学習した機能にどのように影響するかを観察します。
  論文  参考訳（メタデータ） (2022-04-04T09:38:38Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。