論文の概要: Coding schemes in neural networks learning classification tasks

• arxiv url: http://arxiv.org/abs/2406.16689v1
• Date: Mon, 24 Jun 2024 14:50:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:25:06.459466
• Title: Coding schemes in neural networks learning classification tasks
• Title（参考訳）: ニューラルネットワーク学習型分類タスクにおける符号化方式
• Authors: Alexander van Meegen, Haim Sompolinsky,
• Abstract要約: 完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
• 参考スコア（独自算出の注目度）: 52.22978725954347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks posses the crucial ability to generate meaningful representations of task-dependent features. Indeed, with appropriate scaling, supervised learning in neural networks can result in strong, task-dependent feature learning. However, the nature of the emergent representations, which we call the `coding scheme', is still unclear. To understand the emergent coding scheme, we investigate fully-connected, wide neural networks learning classification tasks using the Bayesian framework where learning shapes the posterior distribution of the network weights. Consistent with previous findings, our analysis of the feature learning regime (also known as `non-lazy', `rich', or `mean-field' regime) shows that the networks acquire strong, data-dependent features. Surprisingly, the nature of the internal representations depends crucially on the neuronal nonlinearity. In linear networks, an analog coding scheme of the task emerges. Despite the strong representations, the mean predictor is identical to the lazy case. In nonlinear networks, spontaneous symmetry breaking leads to either redundant or sparse coding schemes. Our findings highlight how network properties such as scaling of weights and neuronal nonlinearity can profoundly influence the emergent representations.
• Abstract（参考訳）: ニューラルネットワークは、タスク依存機能の意味のある表現を生成する重要な能力を持つ。 実際、適切なスケーリングによって、ニューラルネットワークにおける教師付き学習は、強いタスク依存の機能学習をもたらす可能性がある。 しかし、「符号化スキーム」と呼ぶ創発表現の性質はいまだ不明である。 創発的符号化方式を理解するために,学習がネットワーク重みの後方分布を形作るベイジアンフレームワークを用いて,完全連結で広いニューラルネットワーク学習分類タスクについて検討する。 従来の知見と一致して,我々は特徴学習体制(「非ラジ」,「リッチ」,「メアンフィールド」レジーム)の分析を行った。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。 線形ネットワークでは、タスクのアナログ符号化方式が出現する。 強い表現にもかかわらず、平均予測子は遅延ケースと同一である。 非線形ネットワークでは、自発的対称性の破れは冗長あるいはスパースな符号化スキームにつながる。 重みのスケーリングや神経の非線形性といったネットワーク特性が創発的表現にどのように深く影響するかを明らかにする。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs [0.9786690381850356]
  産業アプリケーションでは、オープンワールド設定から得られるデータは、ネットワークがトレーニングされたベンチマークデータセットと大きく異なる可能性がある。 活性化グラフのトポロジ的特性に基づいて訓練されたニューラルネットワークを監視する手法を開発している。
  論文  参考訳（メタデータ） (2021-05-07T14:16:03Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。