論文の概要: Learning a Single Neuron with Gradient Methods
- arxiv url: http://arxiv.org/abs/2001.05205v3
- Date: Sun, 27 Feb 2022 11:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 05:30:36.567044
- Title: Learning a Single Neuron with Gradient Methods
- Title（参考訳）: 勾配法による単一ニューロンの学習
- Authors: Gilad Yehudai and Ohad Shamir
- Abstract要約: 単一ニューロン$xmaptosigma(wtop x)$を標準勾配法で学習する根本的な問題を考える。
より一般的な結果が、より穏やかな仮定の下で達成可能かどうかを問う。
- 参考スコア（独自算出の注目度）: 39.291483556116454
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the fundamental problem of learning a single neuron $x
\mapsto\sigma(w^\top x)$ using standard gradient methods. As opposed to
previous works, which considered specific (and not always realistic) input
distributions and activation functions $\sigma(\cdot)$, we ask whether a more
general result is attainable, under milder assumptions. On the one hand, we
show that some assumptions on the distribution and the activation function are
necessary. On the other hand, we prove positive guarantees under mild
assumptions, which go beyond those studied in the literature so far. We also
point out and study the challenges in further strengthening and generalizing
our results.
- Abstract（参考訳）: 単一ニューロン$x \mapsto\sigma(w^\top x)$を標準勾配法を用いて学習する根本的な問題を考える。
特定の(かつ常に現実的ではない)入力分布とアクティベーション関数 $\sigma(\cdot)$ を考える以前の作品とは対照的に、より一般的な結果がより穏やかな仮定の下で達成可能かどうかを問う。
一方、分布と活性化関数にはいくつかの仮定が必要であることを示す。
一方,本研究では,これまでの文献研究を超越した,軽度の仮定で肯定的な保証を証明している。
結果をさらに強化し、一般化する上での課題についても指摘し、検討する。
関連論文リスト
- Learning Narrow One-Hidden-Layer ReLU Networks [30.63086568341548]
最初のアルゴリズムは$k$が定数であるときに成功する。
我々は、十分に近接したニューロンを一緒に崩壊させることができると主張するために、マルチスケール分析を用いる。
論文 参考訳（メタデータ） (2023-04-20T17:53:09Z) - Improved Regret for Efficient Online Reinforcement Learning with Linear
Function Approximation [69.0695698566235]
線形関数近似による強化学習と,コスト関数の逆変化について検討した。
本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T17:26:39Z) - Cardinality-Minimal Explanations for Monotonic Neural Networks [25.212444848632515]
本稿では,単調関数を実装したニューラルモデルに着目して,トラクタビリティを回復できるかどうかを検討する。
関連する決定問題は引き続き難解であるが、有利な時間で解決可能であることを示すことができる。
論文 参考訳（メタデータ） (2022-05-19T23:47:25Z) - Learning a Single Neuron for Non-monotonic Activation Functions [3.890410443467757]
非単調活性化関数は、多くの応用において伝統的な単調関数よりも優れる。
サンプル時間における学習性を保証するのに$sigma$の穏やかな条件が十分であることを示す。
また,2層ニューラルネットワークのトレーニングにおいて,既存の負の結果に肯定的な結果がどう関係しているかについても論じる。
論文 参考訳（メタデータ） (2022-02-16T13:44:25Z) - Reinforcement Learning in Reward-Mixing MDPs [74.41782017817808]
報酬混合マルコフ決定過程(MDP)におけるエピソード強化学習
cdot S2 A2)$ episodes, where$H$ is time-horizon and $S, A$ are the number of state and actions。
epsilon$-optimal policy after $tildeO(poly(H,epsilon-1) cdot S2 A2)$ episodes, $H$ is time-horizon and $S, A$ are the number of state and actions。
論文 参考訳（メタデータ） (2021-10-07T18:55:49Z) - Learning a Single Neuron with Bias Using Gradient Descent [53.15475693468925]
単一ニューロンをバイアス項で学習する基本的な問題について検討する。
これはバイアスのないケースとは大きく異なり、より難しい問題であることを示す。
論文 参考訳（メタデータ） (2021-06-02T12:09:55Z) - Causal Inference Under Unmeasured Confounding With Negative Controls: A
Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。
最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文 参考訳（メタデータ） (2021-03-25T17:59:19Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Differentiable Bandit Exploration [38.81737411000074]
我々は、$mathcalP$からサンプルを使って未知のディストリビューション$mathcalP$についてそのようなポリシーを学ぶ。
我々のアプローチはメタラーニングの形式であり、その形式について強い仮定をすることなく$mathcalP$のプロパティを利用する。
論文 参考訳（メタデータ） (2020-02-17T05:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。