論文の概要: Learning the Hypotheses Space from data: Learning Space and U-curve Property

• arxiv url: http://arxiv.org/abs/2001.09532v3
• Date: Fri, 10 Sep 2021 12:33:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 19:16:13.962169
• Title: Learning the Hypotheses Space from data: Learning Space and U-curve Property
• Title（参考訳）: データから空間を学習する:空間とU曲線の性質を学ぶ
• Authors: Diego Marcondes, Adilson Simonis and Junior Barrera
• Abstract要約: 本稿では、学習問題を仮説空間$mathcalH$だけでなく、学習空間$mathbbL(mathcalH)$でモデル化する古典的なPAC学習モデルの拡張について述べる。 我々の主な貢献は、$mathbbL(mathcalH)$で正規化モデル選択を行うデータ駆動の一般学習アルゴリズムである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an extension of the classical agnostic PAC learning model in which learning problems are modelled not only by a Hypothesis Space $\mathcal{H}$, but also by a Learning Space $\mathbb{L}(\mathcal{H})$, which is a cover of $\mathcal{H}$, constrained by a VC-dimension property, that is a suitable domain for Model Selection algorithms. Our main contribution is a data driven general learning algorithm to perform regularized Model Selection on $\mathbb{L}(\mathcal{H})$. A remarkable, formally proved, consequence of this approach are conditions on $\mathbb{L}(\mathcal{H})$ and on the loss function that lead to estimated out-of-sample error surfaces which are true U-curves on $\mathbb{L}(\mathcal{H})$ chains, enabling a more efficient search on $\mathbb{L}(\mathcal{H})$. To our knowledge, this is the first rigorous result asserting that a non exhaustive search of a family of candidate models can return an optimal solution. In this new framework, an U-curve optimization algorithm becomes a natural component of Model Selection, hence of learning algorithms. The abstract general framework proposed here may have important implications on modern learning models and on areas such as Neural Architecture Search.
• Abstract（参考訳）: 本稿では、学習問題を仮説空間 $\mathcal{h}$ だけでなく、モデル選択アルゴリズムに適したドメインであるvc-dimensionプロパティによって制約された$\mathcal{h}$ のカバーである学習空間 $\mathbb{l}(\mathcal{h})$ によってモデル化する古典的な無依存なpac学習モデルの拡張を提案する。 我々の主な貢献は、$\mathbb{L}(\mathcal{H})$上で正規化モデル選択を行うデータ駆動の一般学習アルゴリズムである。 このアプローチの顕著で正式に証明された結果は、$\mathbb{L}(\mathcal{H})$上の条件と、$\mathbb{L}(\mathcal{H})$鎖上の真のU曲線であるサンプル外誤差曲面を推定する損失関数であり、$\mathbb{L}(\mathcal{H})$上のより効率的な探索を可能にする。 私たちの知る限りでは、これは最初の厳密な結果であり、候補モデルのファミリーの非完備な探索は最適な解を返すことができると断言している。 この新しいフレームワークでは、U曲線最適化アルゴリズムがモデル選択の自然なコンポーネントとなり、学習アルゴリズムとなる。 ここで提案される抽象的な一般的なフレームワークは、現代の学習モデルやニューラルアーキテクチャサーチのような分野に重要な影響を与える可能性がある。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• Agnostically Learning Multi-index Models with Queries [54.290489524576756]
  本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。 クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-12-27T15:50:47Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• A framework for overparameterized learning [0.0]
  ディープニューラルネットワークの成功に関する説明は、理論的機械学習における中心的な問題である。 本稿では,多くの一般的な問題をカバーするのに十分な,プロトタイプ学習問題からなるフレームワークを提案する。 次に、教師付き学習、変分オートエンコーダ、勾配ペナルティによるトレーニングがプロトタイプ問題に変換可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:17:46Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Learning the hypotheses space from data through a U-curve algorithm: a statistically consistent complexity regularizer for Model Selection [0.0]
  本稿では, モデル選択に対するデータ駆動型, 一貫性, 非排他的アプローチを提案する。 我々の主な貢献は、$mathbbL(mathcalH)$上で正規化モデル選択を行うデータ駆動の一般学習アルゴリズムである。 このアプローチの顕著な結果は、$mathbbL(mathcalH)$の非排他的探索が最適解を返すことができる条件である。
  論文  参考訳（メタデータ） (2021-09-08T18:28:56Z)
• Model Selection with Near Optimal Rates for Reinforcement Learning with General Model Classes [27.361399036211694]
  有限地平線エピソディック強化学習(RL)問題に対するモデル選択の問題に対処する。 モデル選択フレームワークでは、$mathcalP*$の代わりに、遷移カーネルのネストされたファミリーが$M$を与えられる。 textttARL-GENが$TildemathcalO(d_mathcalE* H2+sqrtd_mathcalE* mathbbM* H2T)$の後悔を得ることを示す。
  論文  参考訳（メタデータ） (2021-07-13T05:00:38Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Learning the Hypotheses Space from data Part II: Convergence and Feasibility [0.0]
  学習空間に基づくモデル選択フレームワークの一貫性を示す。 データから仮説空間を学習することは可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-30T21:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。