論文の概要: Disentangling Rich Dynamics from Feature Learning: A Framework for Independent Measurements

• arxiv url: http://arxiv.org/abs/2410.04264v2
• Date: Wed, 04 Jun 2025 21:53:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.194006
• Title: Disentangling Rich Dynamics from Feature Learning: A Framework for Independent Measurements
• Title（参考訳）: 特徴学習からリッチダイナミクスを遠ざける:独立計測のためのフレームワーク
• Authors: Yoonsoo Nam, Nayara Fonseca, Seok Hyeong Lee, Chris Mingard, Niclas Goring, Ouns El Harzli, Abdurrahman Hadi Erturk, Soufiane Hayou, Ard A. Louis,
• Abstract要約: 本稿では,(1)パフォーマンスから独立してリッチなレシエーションを定量化する尺度,(2)可視化のための解釈可能な特徴指標を紹介する。 CIFAR-10/100におけるVGG16とResNet18のバッチ正規化とトレーニングセットサイズが遅延/リッチダイナミクスに与える影響を明らかにする。
• 参考スコア（独自算出の注目度）: 5.369150515904139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In machine learning, it is widely believed that dynamic feature transformation (the rich regime) enhances predictive performance. However, this link does not always hold, and existing richness measures rely on correlated factors - such as performance or parameter norms - which can complicate the analysis of feature learning. We introduce (1) a measure that quantifies the rich regime independently of performance, and (2) interpretable feature metrics for visualization. Leveraging low-rank bias, our approach generalizes neural collapse metrics and captures lazy-to-rich transitions (e.g., grokking) without relying on performance as a proxy. We reveal how batch normalization and training set size influence lazy/rich dynamics for VGG16 and ResNet18 on CIFAR-10/100, opening avenues for better understanding feature learning.
• Abstract（参考訳）: 機械学習では、動的な特徴変換(リッチレジーム)が予測性能を高めると広く信じられている。 しかし、このリンクは常に保持されるわけではなく、既存のリッチネス尺度は、機能学習の分析を複雑にする、パフォーマンスやパラメータノルムといった相関要因に依存しています。 本稿では,(1)パフォーマンスから独立してリッチなレシエーションを定量化する尺度,(2)可視化のための解釈可能な特徴指標を紹介する。 低ランクバイアスを活用することで、私たちのアプローチは、ニューラルネットワークの崩壊メトリクスを一般化し、プロキシとしてのパフォーマンスに頼ることなく、遅延からリッチへの移行(例えば、グラッキング)をキャプチャします。 CIFAR-10/100におけるVGG16とResNet18のバッチ正規化とトレーニングセットサイズが遅延/リッチダイナミクスにどのように影響するかを明らかにする。

関連論文リスト

• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Do deep neural networks have an inbuilt Occam's razor? [1.1470070927586016]
  構造データとOccam's razor-likeインダクティブバイアスが組み合わさった単純な関数に対する構造データは、複雑さを伴う関数の指数的成長に反することを示す。 この分析により、構造データと(コルモゴロフ)単純関数に対するOccam's razor-likeインダクティブバイアスが組み合わさって、複雑さを伴う関数の指数的成長に対抗できるほど強いことがDNNの成功の鍵であることが明らかになった。
  論文  参考訳（メタデータ） (2023-04-13T16:58:21Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
  我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。 本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。 鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
  論文  参考訳（メタデータ） (2022-02-17T13:43:06Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。