論文の概要: Learning high-dimensional targets by two-parameter models and gradient flow

• arxiv url: http://arxiv.org/abs/2402.17089v1
• Date: Mon, 26 Feb 2024 23:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:23:36.767175
• Title: Learning high-dimensional targets by two-parameter models and gradient flow
• Title（参考訳）: 2パラメータモデルと勾配流による高次元目標学習
• Authors: Dmitry Yarotsky
• Abstract要約: Wd$ に対して、GF-非学習可能なターゲットの大規模な部分集合が必ず存在することを示す。 特に、学習可能な対象の集合は $mathbb Rd$ では密でなく、$mathbb Rd$ の任意の部分集合は $W$-次元球面に同型であり、非学習可能な対象を含む。
• 参考スコア（独自算出の注目度）: 13.794391803767617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the theoretical possibility of learning $d$-dimensional targets with $W$-parameter models by gradient flow (GF) when $W<d$. Our main result shows that if the targets are described by a particular $d$-dimensional probability distribution, then there exist models with as few as two parameters that can learn the targets with arbitrarily high success probability. On the other hand, we show that for $W<d$ there is necessarily a large subset of GF-non-learnable targets. In particular, the set of learnable targets is not dense in $\mathbb R^d$, and any subset of $\mathbb R^d$ homeomorphic to the $W$-dimensional sphere contains non-learnable targets. Finally, we observe that the model in our main theorem on almost guaranteed two-parameter learning is constructed using a hierarchical procedure and as a result is not expressible by a single elementary function. We show that this limitation is essential in the sense that such learnability can be ruled out for a large class of elementary functions.
• Abstract（参考訳）: グラデーションフロー (gf) を用いて,$w<d$ の場合,$w$パラメータモデルを用いて$d$次元の目標を学習する理論的可能性を検討する。 本研究の主な成果は、目標が特定の$d$次元確率分布によって記述されている場合、任意に高い成功確率で目標を学習できる2つのパラメータを持つモデルが存在することである。 一方、w<d$の場合、gf-non-learnableターゲットの大規模なサブセットが必ず存在することを示す。 特に、学習可能な対象の集合は $\mathbb R^d$ では密でなく、$W$次元球面に同型な $\mathbb R^d$ の任意の部分集合は非学習可能な対象を含む。 最後に, ほぼ保証された2パラメータ学習における主定理のモデルが階層的手続きを用いて構築され, その結果, 1つの基本関数では表現できないことを観察する。 この制限は,多くの基本関数に対してそのような学習可能性を排除できるという意味で不可欠であることを示す。

関連論文リスト

• Partial Identifiability and Misspecification in Inverse Reinforcement Learning [64.13583792391783]
  Inverse Reinforcement Learning の目的は、報酬関数 $R$ をポリシー $pi$ から推論することである。 本稿では,IRLにおける部分的識別性と不特定性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-11-24T18:35:46Z)
• Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
  任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。 S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。 S$2$DF はモンゲ・アンペア型の二次偏微分方程式を満たすことを示した。
  論文  参考訳（メタデータ） (2024-10-24T06:56:34Z)
• Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [45.05072391903122]
  情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を果たす。 マルチインデックスモデルでは、最低度のみに焦点を合わせることで、重要な構造の詳細を見逃すことができる。 2次項と高次項の両方を考慮することで、まず2次項から関連する空間を学習できることが示される。
  論文  参考訳（メタデータ） (2024-10-13T00:14:08Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
  確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。 連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
  論文  参考訳（メタデータ） (2024-04-15T12:29:28Z)
• Idempotent Generative Network [61.78905138698094]
  本稿では,ニューラルネットワークを等質にトレーニングした生成モデリングのための新しい手法を提案する。 一等演算子は、初期アプリケーションを超えて結果を変更せずに順次適用できる演算子である。 ターゲット分布とソース分布の両方からの入力を処理することにより、モデルがターゲット多様体に完全に破損または修正されたデータを投影することがわかった。
  論文  参考訳（メタデータ） (2023-11-02T17:59:55Z)
• A duality framework for analyzing random feature and two-layer neural networks [7.400520323325074]
  我々は$mathcalF_p,pi$およびBarron空間内の関数の学習問題を考察する。 近似と推定の二重同値を確立し、それを用いて先行する関数空間の学習を研究する。
  論文  参考訳（メタデータ） (2023-05-09T17:41:50Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。