論文の概要: An Approximation Theory Perspective on Machine Learning

• arxiv url: http://arxiv.org/abs/2506.02168v1
• Date: Mon, 02 Jun 2025 18:50:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.982158
• Title: An Approximation Theory Perspective on Machine Learning
• Title（参考訳）: 機械学習に関する近似理論の展望
• Authors: Hrushikesh N. Mhaskar, Efstratios Tsoukanis, Ameya D. Jagtap,
• Abstract要約: 浅層/深層ネットワークの役割を含む機械学習の新たなトレンドについて論じる。 関数近似は機械学習の基本的な問題であるにもかかわらず、近似理論は分野の理論的基礎において中心的な役割を果たすものではない。
• 参考スコア（独自算出の注目度）: 1.2289361708127877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central problem in machine learning is often formulated as follows: Given a dataset $\{(x_j, y_j)\}_{j=1}^M$, which is a sample drawn from an unknown probability distribution, the goal is to construct a functional model $f$ such that $f(x) \approx y$ for any $(x, y)$ drawn from the same distribution. Neural networks and kernel-based methods are commonly employed for this task due to their capacity for fast and parallel computation. The approximation capabilities, or expressive power, of these methods have been extensively studied over the past 35 years. In this paper, we will present examples of key ideas in this area found in the literature. We will discuss emerging trends in machine learning including the role of shallow/deep networks, approximation on manifolds, physics-informed neural surrogates, neural operators, and transformer architectures. Despite function approximation being a fundamental problem in machine learning, approximation theory does not play a central role in the theoretical foundations of the field. One unfortunate consequence of this disconnect is that it is often unclear how well trained models will generalize to unseen or unlabeled data. In this review, we examine some of the shortcomings of the current machine learning framework and explore the reasons for the gap between approximation theory and machine learning practice. We will then introduce our novel research to achieve function approximation on unknown manifolds without the need to learn specific manifold features, such as the eigen-decomposition of the Laplace-Beltrami operator or atlas construction. In many machine learning problems, particularly classification tasks, the labels $y_j$ are drawn from a finite set of values.
• Abstract（参考訳）: 機械学習における中心的な問題は、しばしば次のように定式化される: 未知の確率分布から引き出されたサンプルであるデータセット $\{(x_j, y_j)\}_{j=1}^M$ が与えられたとき、$f$のような関数モデル$f$を構築することが目的である。 (x) \approx y$ for any $(x, y)同じ分布から引き出された$ ニューラルネットワークとカーネルベースの手法は、高速かつ並列な計算能力のために一般的にこのタスクに使用される。 これらの手法の近似能力、すなわち表現力は、過去35年間に広く研究されてきた。 本稿では,本論文に見られる領域における鍵となるアイデアの例を示す。 本稿では,浅層/深度ネットワークの役割,多様体への近似,物理インフォームドニューラルサロゲート,ニューラル演算子,トランスフォーマーアーキテクチャなど,機械学習の新たなトレンドについて論じる。 関数近似は機械学習の基本的な問題であるにもかかわらず、近似理論は分野の理論的基礎において中心的な役割を果たすものではない。 この切断による不運な結果の1つは、トレーニングされたモデルが、目に見えないデータやラベルのないデータにどのように一般化されるかがよくわからないことである。 本稿では,現在の機械学習フレームワークの欠点について考察し,近似理論と機械学習の実践のギャップの原因を考察する。 次に、未知多様体上の関数近似をLaplace-Beltrami作用素の固有分解やアトラス構成のような特定の多様体の特徴を学ぶ必要なしに実現する新しい研究を紹介する。 多くの機械学習問題、特に分類タスクでは、ラベル$y_j$は有限個の値から引き出される。

関連論文リスト

• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric Learning [1.4293924404819704]
  我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。 単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。 我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
  論文  参考訳（メタデータ） (2023-11-17T00:35:38Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Analysis of feature learning in weight-tied autoencoders via the mean field lens [3.553493344868413]
  平均場フレームワークにおける2層重み付き非線形オートエンコーダのクラスを解析する。 勾配降下で訓練されたモデルでは平均場制限ダイナミクスが認められる。 実生活データに関する実験は、この理論と興味深い一致を示した。
  論文  参考訳（メタデータ） (2021-02-16T18:58:37Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Parametric machines: a fresh approach to architecture search [0.0]
  単純な機械がより複雑な機械にどのように組み合わされるかを示す。 ニューラルネットワークとニューラル常微分方程式を一般化する有限・無限深度機械について検討する。
  論文  参考訳（メタデータ） (2020-07-06T14:27:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。