論文の概要: Learning high-dimensional targets by two-parameter models and gradient
flow
- arxiv url: http://arxiv.org/abs/2402.17089v1
- Date: Mon, 26 Feb 2024 23:56:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 18:23:36.767175
- Title: Learning high-dimensional targets by two-parameter models and gradient
flow
- Title(参考訳): 2パラメータモデルと勾配流による高次元目標学習
- Authors: Dmitry Yarotsky
- Abstract要約: Wd$ に対して、GF-非学習可能なターゲットの大規模な部分集合が必ず存在することを示す。
特に、学習可能な対象の集合は $mathbb Rd$ では密でなく、$mathbb Rd$ の任意の部分集合は $W$-次元球面に同型であり、非学習可能な対象を含む。
- 参考スコア(独自算出の注目度): 13.794391803767617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore the theoretical possibility of learning $d$-dimensional targets
with $W$-parameter models by gradient flow (GF) when $W<d$. Our main result
shows that if the targets are described by a particular $d$-dimensional
probability distribution, then there exist models with as few as two parameters
that can learn the targets with arbitrarily high success probability. On the
other hand, we show that for $W<d$ there is necessarily a large subset of
GF-non-learnable targets. In particular, the set of learnable targets is not
dense in $\mathbb R^d$, and any subset of $\mathbb R^d$ homeomorphic to the
$W$-dimensional sphere contains non-learnable targets. Finally, we observe that
the model in our main theorem on almost guaranteed two-parameter learning is
constructed using a hierarchical procedure and as a result is not expressible
by a single elementary function. We show that this limitation is essential in
the sense that such learnability can be ruled out for a large class of
elementary functions.
- Abstract(参考訳): グラデーションフロー (gf) を用いて,$w<d$ の場合,$w$パラメータモデルを用いて$d$次元の目標を学習する理論的可能性を検討する。
本研究の主な成果は、目標が特定の$d$次元確率分布によって記述されている場合、任意に高い成功確率で目標を学習できる2つのパラメータを持つモデルが存在することである。
一方、w<d$の場合、gf-non-learnableターゲットの大規模なサブセットが必ず存在することを示す。
特に、学習可能な対象の集合は $\mathbb R^d$ では密でなく、$W$次元球面に同型な $\mathbb R^d$ の任意の部分集合は非学習可能な対象を含む。
最後に, ほぼ保証された2パラメータ学習における主定理のモデルが階層的手続きを用いて構築され, その結果, 1つの基本関数では表現できないことを観察する。
この制限は,多くの基本関数に対してそのような学習可能性を排除できるという意味で不可欠であることを示す。
関連論文リスト
- Breaking the Curse of Dimensionality with Distributed Neural Computation [17.571316365665673]
本稿では,複数のマシンに分散可能なニューラルネットワークアルゴリズムを用いて,次元の呪いを克服する理論的アプローチを提案する。
VRAMに少数のパラメータをロードするだけで任意の精度を達成できます。
論文 参考訳(メタデータ) (2024-02-05T19:11:57Z) - Agnostically Learning Multi-index Models with Queries [54.290489524576756]
本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。
クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2023-12-27T15:50:47Z) - Idempotent Generative Network [61.78905138698094]
本稿では,ニューラルネットワークを等質にトレーニングした生成モデリングのための新しい手法を提案する。
一等演算子は、初期アプリケーションを超えて結果を変更せずに順次適用できる演算子である。
ターゲット分布とソース分布の両方からの入力を処理することにより、モデルがターゲット多様体に完全に破損または修正されたデータを投影することがわかった。
論文 参考訳(メタデータ) (2023-11-02T17:59:55Z) - How Two-Layer Neural Networks Learn, One (Giant) Step at a Time [24.773974771715956]
本研究では、2層ニューラルネットワークの特徴がターゲット関数の構造にどのように適応するかを理論的に検討する。
バッチサイズと複数の(しかし、有限個の)ステップの影響を比較する。
我々は、$n = MathcalO(d)$のバッチサイズが、階段の性質を満たす複数の目標方向を学習するのに十分であることを示す。
論文 参考訳(メタデータ) (2023-05-29T17:43:44Z) - A duality framework for generalization analysis of random feature models
and two-layer neural networks [3.2931415075553576]
我々は$mathcalF_p,pi$およびBarron空間における関数の学習問題を考察する。
双対性解析により、これらの空間の近似と推定は、ある意味で等価であると考えることができる。
論文 参考訳(メタデータ) (2023-05-09T17:41:50Z) - Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
線形システム上での効率的な模倣学習のための表現学習について検討する。
学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
論文 参考訳(メタデータ) (2022-12-01T00:14:35Z) - On the Identifiability and Estimation of Causal Location-Scale Noise
Models [122.65417012597754]
位置スケール・異方性雑音モデル(LSNM)のクラスについて検討する。
症例によっては, 因果方向が同定可能であることが示唆された。
我々は,LSNMの2つの推定器を提案し,その1つは(非線形)特徴写像に基づく推定器と,1つはニューラルネットワークに基づく推定器を提案する。
論文 参考訳(メタデータ) (2022-10-13T17:18:59Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳(メタデータ) (2022-05-03T12:09:59Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳(メタデータ) (2021-06-04T17:52:50Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳(メタデータ) (2020-11-27T04:57:40Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳(メタデータ) (2020-09-21T02:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。