論文の概要: Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation

• arxiv url: http://arxiv.org/abs/2406.05320v1
• Date: Sat, 8 Jun 2024 02:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 20:24:20.075182
• Title: Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation
• Title（参考訳）: 深部ニューラルネットワークは近似と推定における正規性とデータ分布に適応する
• Authors: Hao Liu, Jiahui Cheng, Wenjing Liao,
• Abstract要約: 深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。 この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
• 参考スコア（独自算出の注目度）: 8.284464143581546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has exhibited remarkable results across diverse areas. To understand its success, substantial research has been directed towards its theoretical foundations. Nevertheless, the majority of these studies examine how well deep neural networks can model functions with uniform regularity. In this paper, we explore a different angle: how deep neural networks can adapt to different regularity in functions across different locations and scales and nonuniform data distributions. More precisely, we focus on a broad class of functions defined by nonlinear tree-based approximation. This class encompasses a range of function types, such as functions with uniform regularity and discontinuous functions. We develop nonparametric approximation and estimation theories for this function class using deep ReLU networks. Our results show that deep neural networks are adaptive to different regularity of functions and nonuniform data distributions at different locations and scales. We apply our results to several function classes, and derive the corresponding approximation and generalization errors. The validity of our results is demonstrated through numerical experiments.
• Abstract（参考訳）: 深層学習は様々な分野において顕著な成果を上げている。 その成功を理解するために、かなりの研究が理論の基礎に向けられている。 しかしながら、これらの研究の大部分は、ディープニューラルネットワークが一様規則性を持つ関数をいかにうまくモデル化できるかを検証している。 本稿では、深層ニューラルネットワークが、異なる位置とスケール、および一様でないデータ分布にまたがる関数の規則性にどのように適応するかという、異なる角度を探索する。 より正確には、非線形木に基づく近似によって定義される幅広い関数のクラスに焦点を当てる。 このクラスは、一様正則関数や不連続関数など、様々な関数型を含んでいる。 深部ReLUネットワークを用いた関数クラスに対する非パラメトリック近似と推定理論を開発した。 その結果,深部ニューラルネットワークは,異なる位置やスケールでの関数の規則性や不均一なデータ分布に適応していることがわかった。 本結果はいくつかの関数クラスに適用し,対応する近似および一般化誤差を導出する。 本研究の妥当性は数値実験により検証した。

関連論文リスト

• SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
  エントロピー誤差関数はニューラルネットワークで広く使われている。 本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。 ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
  論文  参考訳（メタデータ） (2024-05-28T19:54:26Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Mean-field neural networks: learning mappings on Wasserstein space [0.0]
  確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。 ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。 本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-27T05:11:42Z)
• Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
  ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。 提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。 複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-21T16:59:44Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems [3.660098145214465]
  我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。 構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。 関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
  論文  参考訳（メタデータ） (2020-12-03T04:40:25Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。