論文の概要: The Impact of Anisotropic Covariance Structure on the Training Dynamics and Generalization Error of Linear Networks
- arxiv url: http://arxiv.org/abs/2601.06961v1
- Date: Sun, 11 Jan 2026 15:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.088387
- Title: The Impact of Anisotropic Covariance Structure on the Training Dynamics and Generalization Error of Linear Networks
- Title（参考訳）: 等方性共分散構造が線形ネットワークのトレーニングダイナミクスと一般化誤差に及ぼす影響
- Authors: Taishi Watanabe, Ryo Karakida, Jun-nosuke Teramae,
- Abstract要約: 線形回帰条件下での2層線形ネットワークの学習力学と一般化誤差に対するデータ異方性の影響について検討する。
本研究は,データ異方性が学習軌跡や最終性能をどのように形成するかに関する理論的知見を提供する。
- 参考スコア（独自算出の注目度）: 10.58305210918603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of deep neural networks largely depends on the statistical structure of the training data. While learning dynamics and generalization on isotropic data are well-established, the impact of pronounced anisotropy on these crucial aspects is not yet fully understood. We examine the impact of data anisotropy, represented by a spiked covariance structure, a canonical yet tractable model, on the learning dynamics and generalization error of a two-layer linear network in a linear regression setting. Our analysis reveals that the learning dynamics proceed in two distinct phases, governed initially by the input-output correlation and subsequently by other principal directions of the data structure. Furthermore, we derive an analytical expression for the generalization error, quantifying how the alignment of the spike structure of the data with the learning task improves performance. Our findings offer deep theoretical insights into how data anisotropy shapes the learning trajectory and final performance, providing a foundation for understanding complex interactions in more advanced network architectures.
- Abstract（参考訳）: ディープニューラルネットワークの成功は、トレーニングデータの統計的構造に大きく依存する。
等方性データに対する力学の学習と一般化は十分に確立されているが、これらの重要な側面に対する顕著な異方性の影響は、まだ完全には理解されていない。
線形回帰条件下での2層線形ネットワークの学習力学と一般化誤差に及ぼすデータ異方性の影響について検討した。
分析の結果,学習のダイナミクスは2つの異なるフェーズで進行し,最初は入力-出力相関で,その後はデータ構造の主要な方向で制御されることがわかった。
さらに,データのスパイク構造と学習タスクのアライメントが性能に与える影響を定量化し,一般化誤差の解析式を導出する。
我々の研究は、データ異方性が学習軌跡と最終性能をどのように形成するかについての深い理論的知見を提供し、より高度なネットワークアーキテクチャにおける複雑な相互作用を理解する基盤を提供する。
関連論文リスト
- Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis [33.73453802399709]
本稿では,二元化ニューラルネットワーク(BNN)を第1のプロキシとして用いて,アルゴリズム情報理論へのシフトを提案する。
ブロック分解法 (BDM) を適用し, エントロピーよりもトレーニング中の構造変化をより綿密に追跡した。
これらの結果は、学習が構造化正規性の進行的内部化に対応するアルゴリズム圧縮の過程としてのトレーニングの観点を支持する。
論文 参考訳（メタデータ） (2025-05-27T02:51:36Z) - Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。
我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文 参考訳（メタデータ） (2025-02-16T23:13:55Z) - Generalization Performance of Hypergraph Neural Networks [21.483543928698676]
我々は、ハイパーグラフニューラルネットワークの4つの代表クラスに対して、マージンに基づく一般化境界を開発する。
その結果,ハイパーグラフ構造やスペクトルノルムが一般化境界にどのような影響を及ぼすかが明らかになった。
本研究は,実世界のデータセットに対するモデルの性能と理論的境界の関係を実験的に検討した。
論文 参考訳（メタデータ） (2025-01-22T00:20:26Z) - Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。
本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
論文 参考訳（メタデータ） (2024-10-03T20:51:02Z) - Generalization bound for estimating causal effects from observational
network data [25.055822137402746]
ネットワークシナリオにおける因果効果推定のための一般化法を導出する。1) 連立確率スコアに基づく再重み付けスキーマ,2) 積分確率メトリック(IPM)に基づく表現学習スキーマ。
そこで本研究では,表現学習で強化した関節適合度スコアに基づく重み付け回帰法を提案する。
論文 参考訳（メタデータ） (2023-08-08T03:14:34Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳（メタデータ） (2022-11-07T14:52:58Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。