論文の概要: An effective theory of collective deep learning

• arxiv url: http://arxiv.org/abs/2310.12802v1
• Date: Thu, 19 Oct 2023 14:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:45:59.121143
• Title: An effective theory of collective deep learning
• Title（参考訳）: 集団深層学習の効果的な理論
• Authors: Llu\'is Arola-Fern\'andez and Lucas Lacasa
• Abstract要約: 我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を用いて,モデルの粗粒度挙動を導出する。 プライバシー制約下でのMNISTデータセットで訓練された現実的なアンサンブルにおいて、我々の理論を検証する。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unraveling the emergence of collective learning in systems of coupled artificial neural networks is an endeavor with broader implications for physics, machine learning, neuroscience and society. Here we introduce a minimal model that condenses several recent decentralized algorithms by considering a competition between two terms: the local learning dynamics in the parameters of each neural network unit, and a diffusive coupling among units that tends to homogenize the parameters of the ensemble. We derive the coarse-grained behavior of our model via an effective theory for linear networks that we show is analogous to a deformed Ginzburg-Landau model with quenched disorder. This framework predicts (depth-dependent) disorder-order-disorder phase transitions in the parameters' solutions that reveal the onset of a collective learning phase, along with a depth-induced delay of the critical point and a robust shape of the microscopic learning path. We validate our theory in realistic ensembles of coupled nonlinear networks trained in the MNIST dataset under privacy constraints. Interestingly, experiments confirm that individual networks -- trained only with private data -- can fully generalize to unseen data classes when the collective learning phase emerges. Our work elucidates the physics of collective learning and contributes to the mechanistic interpretability of deep learning in decentralized settings.
• Abstract（参考訳）: 統合されたニューラルネットワークシステムにおける集団学習の出現は、物理学、機械学習、神経科学、社会に幅広い意味を持つ取り組みである。 本稿では、ニューラルネットワーク単位のパラメータにおける局所学習ダイナミクスと、アンサンブルのパラメータを均質化する単位間の拡散結合という2つの用語の競合を考慮して、最近の分散アルゴリズムを凝縮する最小モデルを提案する。 このモデルの粗い粒度の挙動を線形ネットワークの有効理論により導出し, 緩衝障害を持つギンツブルク・ランダウの変形モデルと類似性を示した。 この枠組みは、臨界点の深さ誘起遅延と顕微鏡学習経路の堅牢な形状とともに、集合学習フェーズの開始を明らかにするパラメータの解における(深さ依存の)障害秩序相転移を予測する。 プライバシー制約下でのMNISTデータセットでトレーニングした非線形ネットワークの現実的なアンサンブルにおいて,我々の理論を検証する。 興味深いことに、個々のネットワーク – プライベートデータのみでトレーニングされた – が、集合学習フェーズが出現すると、見つからないデータクラスに完全に一般化できることが、実験によって確認されている。 我々の研究は集団学習の物理を解明し,分散環境における深層学習の機械論的解釈に寄与する。

関連論文リスト

• Initialisation and Network Effects in Decentralised Federated Learning [1.5961625979922607]
  分散フェデレーション学習は、通信デバイスの分散ネットワーク上で、個々の機械学習モデルの協調トレーニングを可能にする。 このアプローチは、集中的な調整を避け、データのプライバシを高め、単一障害点のリスクを取り除く。 本稿では,基盤となる通信ネットワークの固有ベクトル集中度分布に基づく,ニューラルネットワークの非協調初期化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-23T14:24:36Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
  分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
  論文  参考訳（メタデータ） (2024-02-28T11:13:53Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。