論文の概要: Learning Beyond the Gaussian Data: Learning Dynamics of Neural Networks on an Expressive and Cumulant-Controllable Data Model

• arxiv url: http://arxiv.org/abs/2602.02153v1
• Date: Mon, 02 Feb 2026 14:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.207719
• Title: Learning Beyond the Gaussian Data: Learning Dynamics of Neural Networks on an Expressive and Cumulant-Controllable Data Model
• Title（参考訳）: ガウスデータを超えた学習:表現的かつ累積的なデータモデルに基づくニューラルネットワークの学習ダイナミクス
• Authors: Onat Ure, Samet Demir, Zafer Dogan,
• Abstract要約: 本研究では、モーメント制御可能な非ガウスデータモデルを用いて、ニューラルネットワーク(NN)の学習力学に対するデータの高次統計の影響について検討する。 データモデルから生成されたサンプルを用いて,2層NNを用いてオンライン学習実験を制御した。
• 参考スコア（独自算出の注目度）: 7.238889207632064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the effect of high-order statistics of data on the learning dynamics of neural networks (NNs) by using a moment-controllable non-Gaussian data model. Considering the expressivity of two-layer neural networks, we first construct the data model as a generative two-layer NN where the activation function is expanded by using Hermite polynomials. This allows us to achieve interpretable control over high-order cumulants such as skewness and kurtosis through the Hermite coefficients while keeping the data model realistic. Using samples generated from the data model, we perform controlled online learning experiments with a two-layer NN. Our results reveal a moment-wise progression in training: networks first capture low-order statistics such as mean and covariance, and progressively learn high-order cumulants. Finally, we pretrain the generative model on the Fashion-MNIST dataset and leverage the generated samples for further experiments. The results of these additional experiments confirm our conclusions and show the utility of the data model in a real-world scenario. Overall, our proposed approach bridges simplified data assumptions and practical data complexity, which offers a principled framework for investigating distributional effects in machine learning and signal processing.
• Abstract（参考訳）: 本研究では、モーメント制御可能な非ガウスデータモデルを用いて、ニューラルネットワーク(NN)の学習力学に対するデータの高次統計の影響について検討する。 2層ニューラルネットワークの表現性を考慮すると、まず、Hermite多項式を用いて活性化関数を拡大する生成二層NNとしてデータモデルを構築する。 これにより、データモデルをリアルに保ちながら、エルマイト係数を通した歪や曲率などの高次累積の解釈可能な制御を実現することができる。 データモデルから生成されたサンプルを用いて、2層NNを用いて制御されたオンライン学習実験を行う。 ネットワークはまず平均や共分散などの低次統計をキャプチャし、徐々に高次累積を学習する。 最後に、Fashion-MNISTデータセット上の生成モデルを事前訓練し、生成したサンプルを活用してさらなる実験を行う。 これらの追加実験の結果は、我々の結論を裏付け、実世界のシナリオにおけるデータモデルの有用性を示すものである。 提案手法は,機械学習と信号処理における分散効果を調査するための基本的枠組みを提供する。

関連論文リスト

• Augmented data and neural networks for robust epidemic forecasting: application to COVID-19 in Italy [0.2676349883103403]
  本稿では,ニューラルネットワークのトレーニングフェーズの改善を目的としたデータ拡張戦略を提案する。 提案手法は,不確実性の組み合わさった適切な構成モデルによる合成データの生成に依存している。 その結果、これらの拡張データセットに基づいてトレーニングされたニューラルネットワークは、予測性能を著しく改善していることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T09:35:38Z)
• Asymptotic Analysis of Two-Layer Neural Networks after One Gradient Step under Gaussian Mixtures Data with Structure [0.8287206589886879]
  本研究では,構造データに基づく2層ニューラルネットワーク(NN)の学習と一般化性能について検討した。 特定の条件下では,高次モデルが非線形ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2025-03-02T11:28:54Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Ensemble Machine Learning Model Trained on a New Synthesized Dataset Generalizes Well for Stress Prediction Using Wearable Devices [3.006016887654771]
  本研究では,少数の被験者を含むデータセット上に構築されたモデルの一般化能力について検討した。 本研究では,新たな未知のデータに対する予測パワーを測定するために,勾配押し上げと人工ニューラルネットワークを組み合わせたアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T00:20:57Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Statistical model-based evaluation of neural networks [74.10854783437351]
  ニューラルネットワーク(NN)の評価のための実験装置を開発する。 このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。 これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
  論文  参考訳（メタデータ） (2020-11-18T00:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。