論文の概要: Learnability of high-dimensional targets by two-parameter models and gradient flow

• arxiv url: http://arxiv.org/abs/2402.17089v2
• Date: Fri, 08 Nov 2024 09:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 18:11:15.865430
• Title: Learnability of high-dimensional targets by two-parameter models and gradient flow
• Title（参考訳）: 2パラメータモデルと勾配流による高次元目標の学習可能性
• Authors: Dmitry Yarotsky,
• Abstract要約: Wd$ に対して、GF-非学習可能なターゲットの大規模な部分集合が必ず存在することを示す。 特に、学習可能な対象の集合は $mathbb Rd$ では密でなく、$mathbb Rd$ の任意の部分集合は $W$-次元球面に同型であり、非学習可能な対象を含む。
• 参考スコア（独自算出の注目度）: 13.794391803767617
• License:
• Abstract: We explore the theoretical possibility of learning $d$-dimensional targets with $W$-parameter models by gradient flow (GF) when $W<d$. Our main result shows that if the targets are described by a particular $d$-dimensional probability distribution, then there exist models with as few as two parameters that can learn the targets with arbitrarily high success probability. On the other hand, we show that for $W<d$ there is necessarily a large subset of GF-non-learnable targets. In particular, the set of learnable targets is not dense in $\mathbb R^d$, and any subset of $\mathbb R^d$ homeomorphic to the $W$-dimensional sphere contains non-learnable targets. Finally, we observe that the model in our main theorem on almost guaranteed two-parameter learning is constructed using a hierarchical procedure and as a result is not expressible by a single elementary function. We show that this limitation is essential in the sense that most models written in terms of elementary functions cannot achieve the learnability demonstrated in this theorem.
• Abstract（参考訳）: 我々は、$W<d$のとき、勾配流(GF)による$W$パラメータモデルを用いて$d$次元ターゲットを学習する理論的可能性を探る。 本研究の主な成果は、目標が特定の$d$次元確率分布によって記述されている場合、任意に高い成功確率で目標を学習できる2つのパラメータを持つモデルが存在することである。 一方、$W<d$ の場合、GF-非学習可能なターゲットの大規模な部分集合が必ず存在することを示す。 特に、学習可能な対象の集合は $\mathbb R^d$ では密でなく、$W$次元球面に同型な $\mathbb R^d$ の任意の部分集合は非学習可能な対象を含む。 最後に、ほぼ保証された2パラメータ学習の主定理のモデルが階層的手続きを用いて構築され、結果として単一の基本関数で表現できないことを観察する。 この制限は、基本関数の観点から記述されたほとんどのモデルがこの定理で示される学習可能性を達成することができないという意味では不可欠であることを示す。

関連論文リスト

• Monge-Ampere Regularization for Learning Arbitrary Shapes from Point Clouds [69.69726932986923]
  任意の曲面型をモデル化するための新しい暗黙曲面表現であるスケールド2乗距離関数 (S$2$DF) を提案する。 S$2$DFは、ゼロレベルセットでのUDFの非微分可能性問題に効果的に対処しながら、内部領域と外部領域を区別しない。 S$2$DF はモンゲ・アンペア型の二次偏微分方程式を満たすことを示した。
  論文  参考訳（メタデータ） (2024-10-24T06:56:34Z)
• Learning Orthogonal Multi-Index Models: A Fine-Grained Information Exponent Analysis [45.05072391903122]
  情報指数は、オンライン勾配降下のサンプルの複雑さを予測する上で重要な役割を果たす。 マルチインデックスモデルでは、最低度のみに焦点を合わせることで、重要な構造の詳細を見逃すことができる。 2次項と高次項の両方を考慮することで、まず2次項から関連する空間を学習できることが示される。
  論文  参考訳（メタデータ） (2024-10-13T00:14:08Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Idempotent Generative Network [61.78905138698094]
  本稿では,ニューラルネットワークを等質にトレーニングした生成モデリングのための新しい手法を提案する。 一等演算子は、初期アプリケーションを超えて結果を変更せずに順次適用できる演算子である。 ターゲット分布とソース分布の両方からの入力を処理することにより、モデルがターゲット多様体に完全に破損または修正されたデータを投影することがわかった。
  論文  参考訳（メタデータ） (2023-11-02T17:59:55Z)
• How Two-Layer Neural Networks Learn, One (Giant) Step at a Time [24.773974771715956]
  本研究では、2層ニューラルネットワークの特徴がターゲット関数の構造にどのように適応するかを理論的に検討する。 バッチサイズと複数の(しかし、有限個の)ステップの影響を比較する。 我々は、$n = MathcalO(d)$のバッチサイズが、階段の性質を満たす複数の目標方向を学習するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:43:44Z)
• A duality framework for analyzing random feature and two-layer neural networks [7.400520323325074]
  我々は$mathcalF_p,pi$およびBarron空間内の関数の学習問題を考察する。 近似と推定の二重同値を確立し、それを用いて先行する関数空間の学習を研究する。
  論文  参考訳（メタデータ） (2023-05-09T17:41:50Z)
• Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
  線形システム上での効率的な模倣学習のための表現学習について検討する。 学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
  論文  参考訳（メタデータ） (2022-12-01T00:14:35Z)
• On the Identifiability and Estimation of Causal Location-Scale Noise Models [122.65417012597754]
  位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。 症例によっては, 因果方向が同定可能であることが示唆された。 我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:18:59Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。