論文の概要: Generalizability of Neural Networks Minimizing Empirical Risk Based on Expressive Ability

• arxiv url: http://arxiv.org/abs/2503.04111v1
• Date: Thu, 06 Mar 2025 05:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:00:39.823869
• Title: Generalizability of Neural Networks Minimizing Empirical Risk Based on Expressive Ability
• Title（参考訳）: 表現力に基づく経験的リスクを最小化するニューラルネットワークの一般化可能性
• Authors: Lijia Yu, Yibo Miao, Yifan Zhu, Xiao-Shan Gao, Lijun Zhang,
• Abstract要約: 本稿では,経験的リスクを最小限に抑えた,あるいはほぼ最小化したニューラルネットワークの一般化可能性について検討する。 我々は、堅牢な一般化を含む、深層学習におけるいくつかの現象に関する理論的洞察を提供する。
• 参考スコア（独自算出の注目度）: 20.371836553400232
• License:
• Abstract: The primary objective of learning methods is generalization. Classic uniform generalization bounds, which rely on VC-dimension or Rademacher complexity, fail to explain the significant attribute that over-parameterized models in deep learning exhibit nice generalizability. On the other hand, algorithm-dependent generalization bounds, like stability bounds, often rely on strict assumptions. To establish generalizability under less stringent assumptions, this paper investigates the generalizability of neural networks that minimize or approximately minimize empirical risk. We establish a lower bound for population accuracy based on the expressiveness of these networks, which indicates that with an adequate large number of training samples and network sizes, these networks, including over-parameterized ones, can generalize effectively. Additionally, we provide a necessary condition for generalization, demonstrating that, for certain data distributions, the quantity of training data required to ensure generalization exceeds the network size needed to represent the corresponding data distribution. Finally, we provide theoretical insights into several phenomena in deep learning, including robust generalization, importance of over-parameterization, and effect of loss function on generalization.
• Abstract（参考訳）: 学習法の主な目的は一般化である。 古典的一様一般化境界は、VC次元やラデマッハの複雑さに依存しているが、ディープラーニングにおける過度パラメータ化モデルが優れた一般化可能性を示すという重要な特性を説明することができない。 一方、安定性境界のようなアルゴリズム依存の一般化境界は、しばしば厳密な仮定に依存する。 そこで本研究では, ニューラルネットワークの一般化可能性について, 経験的リスクを最小限に抑えるか, ほぼ最小化する。 我々は,これらのネットワークの表現性に基づいて,集団の精度を低く設定し,十分な数のトレーニングサンプルとネットワークサイズがあれば,過パラメータ化を含むこれらのネットワークを効果的に一般化できることを示す。 さらに,特定のデータ分布に対して,一般化を保証するのに必要なトレーニングデータの量が,対応するデータ分布を表すのに必要なネットワークサイズを超えることを示すために,一般化に必要な条件を提供する。 最後に,本研究は,強靭な一般化,過度パラメータ化の重要性,一般化に対する損失関数の影響など,ディープラーニングのいくつかの現象に関する理論的知見を提供する。

関連論文リスト

• Feature contamination: Neural networks learn uncorrelated features and fail to generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
  本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。 本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T20:06:23Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks [17.188280334580195]
  トレーニングデータセットを越えた一般化は、マシンラーニングの主な目標である。 最近のディープニューラルネットワークの観測は、古典統計学の従来の知恵と矛盾している。 より多くのデータが、カーネルがノイズや表現できないときに一般化を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-06-23T17:53:11Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。