論文の概要: Formation of Representations in Neural Networks

• arxiv url: http://arxiv.org/abs/2410.03006v1
• Date: Thu, 3 Oct 2024 21:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:35:40.311869
• Title: Formation of Representations in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける表現の形成
• Authors: Liu Ziyin, Isaac Chuang, Tomer Galanti, Tomaso Poggio,
• Abstract要約: 現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。 本稿では、表現の形成を普遍的に支配する6つのアライメント関係の集合を仮定したCRH(Canonical Representation hypothesis)を提案する。 CRHの崩壊はR,W,Gの相互関係の出現につながり,この関係をPAH(Polynomial Alignment hypothesis)と呼ぶ。
• 参考スコア（独自算出の注目度）: 8.79431718760617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding neural representations will help open the black box of neural networks and advance our scientific understanding of modern AI systems. However, how complex, structured, and transferable representations emerge in modern neural networks has remained a mystery. Building on previous results, we propose the Canonical Representation Hypothesis (CRH), which posits a set of six alignment relations to universally govern the formation of representations in most hidden layers of a neural network. Under the CRH, the latent representations (R), weights (W), and neuron gradients (G) become mutually aligned during training. This alignment implies that neural networks naturally learn compact representations, where neurons and weights are invariant to task-irrelevant transformations. We then show that the breaking of CRH leads to the emergence of reciprocal power-law relations between R, W, and G, which we refer to as the Polynomial Alignment Hypothesis (PAH). We present a minimal-assumption theory demonstrating that the balance between gradient noise and regularization is crucial for the emergence the canonical representation. The CRH and PAH lead to an exciting possibility of unifying major key deep learning phenomena, including neural collapse and the neural feature ansatz, in a single framework.
• Abstract（参考訳）: 神経表現を理解することは、ニューラルネットワークのブラックボックスを開き、現代のAIシステムの科学的理解を促進するのに役立つ。 しかし、現代のニューラルネットワークにおいて、いかに複雑で構造化され、伝達可能な表現が出現するかは謎のままである。 従来の結果に基づいて,ニューラルネットワークのほとんどの隠蔽層における表現の形成を普遍的に制御するために,6つのアライメント関係の集合を仮定するCanonical Representation hypothesis (CRH)を提案する。 CRHでは、潜伏表現(R)、重み(W)、ニューロン勾配(G)が訓練中に相互に整列する。 このアライメントは、ニューロンと重みがタスク非関連変換に不変であるような、ニューラルネットワークが自然にコンパクト表現を学習することを意味する。 すると、CRHの破れは、R, W, G間の相互の力-法則関係の出現を招き、これはポリノーミアル配向仮説(PAH)と呼ばれる。 正規表現の出現には勾配雑音と正規化のバランスが不可欠であることを示す最小推定理論を提案する。 CRHとPAHは、単一のフレームワークにおいて、神経崩壊や神経機能アンザッツを含む主要なディープラーニング現象を統一するエキサイティングな可能性をもたらす。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• On 1/n neural representation and robustness [13.491651740693705]
  実験で観測された構造をニューラルネットワークに組み込むことで、敵の攻撃に対してより堅牢であることを示す。 本研究は,広いニューラルネットワークとカーネル手法に関する既存の理論を補完するものである。
  論文  参考訳（メタデータ） (2020-12-08T20:34:49Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。