論文の概要: Networks with Finite VC Dimension: Pro and Contra

• arxiv url: http://arxiv.org/abs/2502.02679v1
• Date: Tue, 04 Feb 2025 19:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:53.145548
• Title: Networks with Finite VC Dimension: Pro and Contra
• Title（参考訳）: 有限VC次元ネットワーク: ProとContra
• Authors: Vera Kurkova, Marcello Sanguineti,
• Abstract要約: 有限VC次元は経験的誤差の一様収束には望ましいが、確率分布から引き出された関数の近似は、それらが与えられた種類のアプリケーションで起こる可能性のモデル化には向いていないことが示されている。 データからの学習における近似の精度と一貫性のトレードオフ、ReLUユニットによるネットワークの深さが精度と一貫性に与える影響について論じる。
• 参考スコア（独自算出の注目度）: 1.0128808054306184
• License:
• Abstract: Approximation and learning of classifiers of large data sets by neural networks in terms of high-dimensional geometry and statistical learning theory are investigated. The influence of the VC dimension of sets of input-output functions of networks on approximation capabilities is compared with its influence on consistency in learning from samples of data. It is shown that, whereas finite VC dimension is desirable for uniform convergence of empirical errors, it may not be desirable for approximation of functions drawn from a probability distribution modeling the likelihood that they occur in a given type of application. Based on the concentration-of-measure properties of high dimensional geometry, it is proven that both errors in approximation and empirical errors behave almost deterministically for networks implementing sets of input-output functions with finite VC dimensions in processing large data sets. Practical limitations of the universal approximation property, the trade-offs between the accuracy of approximation and consistency in learning from data, and the influence of depth of networks with ReLU units on their accuracy and consistency are discussed.
• Abstract（参考訳）: ニューラルネットワークによる大規模データセットの分類器の高次元幾何学および統計的学習理論による近似と学習について検討した。 ネットワークの入出力関数集合のVC次元が近似能力に与える影響は、データのサンプルから学習する際の一貫性への影響と比較される。 有限VC次元は経験的誤差の一様収束には望ましいが、確率分布から引き出された関数の近似は、それらが与えられた種類のアプリケーションで起こる可能性のモデル化には向いていないことが示されている。 高次元幾何学の集中度特性に基づいて、近似と経験的誤差の双方の誤差が、大規模データセットの処理において有限VC次元の入出力関数の集合を実装するネットワークに対してほぼ決定的に振る舞うことが証明された。 データからの学習における近似の精度と一貫性のトレードオフ、ReLUユニットによるネットワークの深さが精度と一貫性に与える影響について論じる。

関連論文リスト

• Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning [11.415864885658435]
  本稿では,情報理論に基づく新しい手法であるセマンティック・保存特徴分割(SPFP)アルゴリズムを紹介する。 SPFPアルゴリズムは、データセットを複数のセマンティックな一貫したビューに効果的に分割し、マルチビューアンサンブル学習プロセスを強化する。 モデル精度を維持しつつ、高い一般化性能が達成可能なシナリオにおける不確実性対策を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-11T20:44:45Z)
• Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives [13.300625539460217]
  本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。 この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
  論文  参考訳（メタデータ） (2023-05-15T09:10:12Z)
• Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis [45.3190496371625]
  本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。 このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
  論文  参考訳（メタデータ） (2023-03-26T14:30:38Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Learning from few examples with nonlinear feature maps [68.8204255655161]
  我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。 本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
  論文  参考訳（メタデータ） (2022-03-31T10:36:50Z)
• Efficient Multidimensional Functional Data Analysis Using Marginal Product Basis Systems [2.4554686192257424]
  多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。 本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。 我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
  論文  参考訳（メタデータ） (2021-07-30T16:02:15Z)
• A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
  本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。 我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
  論文  参考訳（メタデータ） (2021-05-05T05:14:08Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。