論文の概要: Feature emergence via margin maximization: case studies in algebraic tasks

• arxiv url: http://arxiv.org/abs/2311.07568v1
• Date: Mon, 13 Nov 2023 18:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 12:57:58.686545
• Title: Feature emergence via margin maximization: case studies in algebraic tasks
• Title（参考訳）: マージン最大化による特徴出現:代数的タスクにおけるケーススタディ
• Authors: Depen Morwani, Benjamin L. Edelman, Costin-Andrei Oncescu, Rosie Zhao, Sham Kakade
• Abstract要約: 訓練されたニューラルネットワークは、一般群における合成を行うために、既約群理論表現に対応する特徴を用いることを示す。 より一般的に、私たちの技術が、ニューラルネットワークが特定の計算戦略を採用する理由のより深い理解を促進するのに役立つことを願っています。
• 参考スコア（独自算出の注目度）: 4.401622714202886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the internal representations learned by neural networks is a cornerstone challenge in the science of machine learning. While there have been significant recent strides in some cases towards understanding how neural networks implement specific target functions, this paper explores a complementary question -- why do networks arrive at particular computational strategies? Our inquiry focuses on the algebraic learning tasks of modular addition, sparse parities, and finite group operations. Our primary theoretical findings analytically characterize the features learned by stylized neural networks for these algebraic tasks. Notably, our main technique demonstrates how the principle of margin maximization alone can be used to fully specify the features learned by the network. Specifically, we prove that the trained networks utilize Fourier features to perform modular addition and employ features corresponding to irreducible group-theoretic representations to perform compositions in general groups, aligning closely with the empirical observations of Nanda et al. and Chughtai et al. More generally, we hope our techniques can help to foster a deeper understanding of why neural networks adopt specific computational strategies.
• Abstract（参考訳）: ニューラルネットワークによって学習される内部表現を理解することは、機械学習の科学における基礎的な課題である。 ニューラルネットワークが特定のターゲット関数をどのように実装するかを理解するための、いくつかのケースでは、最近の顕著な取り組みがあるが、この記事では、補完的な疑問を探求する。 本研究は,モジュラ付加,スパースパリティ,有限群演算の代数的学習タスクに焦点をあてる。 これらの代数的タスクに対して,ニューラルネットワークが学習した特徴を解析的に特徴付ける。 特に,本手法では,マージン最大化の原則だけでネットワークが学習する機能を完全に特定できることを示す。 具体的には、訓練されたネットワークがフーリエ特徴を用いてモジュラー付加を行い、既約群理論表現に対応する特徴を用いて一般群で合成を行い、ナンダやチュグタイなどの経験的観測と密接に関連していることを証明した。 より一般的には、我々の技術が、ニューラルネットワークが特定の計算戦略を採用する理由をより深く理解するのに役立つことを願っています。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
  本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。 本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T20:06:23Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。