論文の概要: Learning the hypotheses space from data through a U-curve algorithm: a
statistically consistent complexity regularizer for Model Selection
- arxiv url: http://arxiv.org/abs/2109.03866v1
- Date: Wed, 8 Sep 2021 18:28:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:30:01.482354
- Title: Learning the hypotheses space from data through a U-curve algorithm: a
statistically consistent complexity regularizer for Model Selection
- Title（参考訳）: U曲線アルゴリズムによるデータから空間を学習する:モデル選択のための統計的に一貫した複雑性正規化器
- Authors: Diego Marcondes, Adilson Simonis and Junior Barrera
- Abstract要約: 本稿では, モデル選択に対するデータ駆動型, 一貫性, 非排他的アプローチを提案する。
我々の主な貢献は、$mathbbL(mathcalH)$上で正規化モデル選択を行うデータ駆動の一般学習アルゴリズムである。
このアプローチの顕著な結果は、$mathbbL(mathcalH)$の非排他的探索が最適解を返すことができる条件である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a data-driven systematic, consistent and non-exhaustive
approach to Model Selection, that is an extension of the classical agnostic PAC
learning model. In this approach, learning problems are modeled not only by a
hypothesis space $\mathcal{H}$, but also by a Learning Space
$\mathbb{L}(\mathcal{H})$, a poset of subspaces of $\mathcal{H}$, which covers
$\mathcal{H}$ and satisfies a property regarding the VC dimension of related
subspaces, that is a suitable algebraic search space for Model Selection
algorithms. Our main contributions are a data-driven general learning algorithm
to perform regularized Model Selection on $\mathbb{L}(\mathcal{H})$ and a
framework under which one can, theoretically, better estimate a target
hypothesis with a given sample size by properly modeling
$\mathbb{L}(\mathcal{H})$ and employing high computational power. A remarkable
consequence of this approach are conditions under which a non-exhaustive search
of $\mathbb{L}(\mathcal{H})$ can return an optimal solution. The results of
this paper lead to a practical property of Machine Learning, that the lack of
experimental data may be mitigated by a high computational capacity. In a
context of continuous popularization of computational power, this property may
help understand why Machine Learning has become so important, even where data
is expensive and hard to get.
- Abstract（参考訳）: 本稿では,従来のPAC学習モデルの拡張であるモデル選択に対する,データ駆動型,一貫性,非排他的アプローチを提案する。
このアプローチでは、学習問題は、仮説空間 $\mathcal{h}$ だけでなく、モデル選択アルゴリズムに適した代数的探索空間 $\mathbb{l}(\mathcal{h})$ によってモデル化される。
我々の主な貢献は、$\mathbb{L}(\mathcal{H})$上で正規化モデル選択を行うためのデータ駆動の一般学習アルゴリズムと、$\mathbb{L}(\mathcal{H})$を適切にモデル化し、高い計算力を利用することで、理論上、所定のサンプルサイズでターゲット仮説をより正確に推定できるフレームワークである。
このアプローチの顕著な結果は、$\mathbb{l}(\mathcal{h})$ の非排他的探索が最適な解を返すことができる条件である。
本稿では,実験データの欠如が計算能力の向上によって緩和される可能性があるという,機械学習の実践的特性を導いた。
計算能力の継続的な普及という文脈において、この性質は、なぜ機械学習がこれほど重要になったのか、たとえデータが高価で入手が難しいのかを理解するのに役立ちます。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Agnostically Learning Multi-index Models with Queries [54.290489524576756]
本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。
クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2023-12-27T15:50:47Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z) - Learning the Hypotheses Space from data Part II: Convergence and
Feasibility [0.0]
学習空間に基づくモデル選択フレームワークの一貫性を示す。
データから仮説空間を学習することは可能であることを示す。
論文 参考訳（メタデータ） (2020-01-30T21:48:37Z) - Learning the Hypotheses Space from data: Learning Space and U-curve
Property [0.0]
本稿では、学習問題を仮説空間$mathcalH$だけでなく、学習空間$mathbbL(mathcalH)$でモデル化する古典的なPAC学習モデルの拡張について述べる。
我々の主な貢献は、$mathbbL(mathcalH)$で正規化モデル選択を行うデータ駆動の一般学習アルゴリズムである。
論文 参考訳（メタデータ） (2020-01-26T22:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。