論文の概要: Supervised learning with probabilistic morphisms and kernel mean
embeddings
- arxiv url: http://arxiv.org/abs/2305.06348v2
- Date: Thu, 25 May 2023 17:24:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 20:10:16.670843
- Title: Supervised learning with probabilistic morphisms and kernel mean
embeddings
- Title（参考訳）: 確率射とカーネル平均埋め込みによる教師付き学習
- Authors: H\^ong V\^an L\^e
- Abstract要約: 教師付き学習の生成モデルにおける正しい損失関数は、仮説空間の要素と監督演算子の相違を正確に測定する必要がある。
回帰モデルの学習可能性に関するCucker-Smaleによる結果の一般化を条件付き確率推定問題の設定に適用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper I propose a concept of a correct loss function in a generative
model of supervised learning for an input space $\mathcal{X}$ and a label space
$\mathcal{Y}$, which are measurable spaces. A correct loss function in a
generative model of supervised learning must correctly measure the discrepancy
between elements of a hypothesis space $\mathcal{H}$ of possible predictors and
the supervisor operator, which may not belong to $\mathcal{H}$. To define
correct loss functions, I propose a characterization of a regular conditional
probability measure $\mu_{\mathcal{Y}|\mathcal{X}}$ for a probability measure
$\mu$ on $\mathcal{X} \times \mathcal{Y}$ relative to the projection
$\Pi_{\mathcal{X}}: \mathcal{X}\times\mathcal{Y}\to \mathcal{X}$ as a solution
of a linear operator equation. If $\mathcal{Y}$ is a separable metrizable
topological space with the Borel $\sigma$-algebra $ \mathcal{B} (\mathcal{Y})$,
I propose another characterization of a regular conditional probability measure
$\mu_{\mathcal{Y}|\mathcal{X}}$ as a minimizer of a mean square error on the
space of Markov kernels, called probabilistic morphisms, from $\mathcal{X}$ to
$\mathcal{Y}$, using kernel mean embeddings. Using these results and using
inner measure to quantify generalizability of a learning algorithm, I give a
generalization of a result due to Cucker-Smale, which concerns the learnability
of a regression model, to a setting of a conditional probability estimation
problem. I also give a variant of Vapnik's regularization method for solving
stochastic ill-posed problems, using inner measure, and present its
applications.
- Abstract（参考訳）: 本稿では,実測可能な空間である入力空間 $\mathcal{X}$ とラベル空間 $\mathcal{Y}$ に対する教師付き学習の生成モデルにおける正しい損失関数の概念を提案する。
教師付き学習の生成モデルにおける正しい損失関数は、可能な予測子の仮説空間 $\mathcal{h}$ と、$\mathcal{h}$ に属するかもしれないスーパーバイザ演算子の要素間の不一致を正しく測定しなければならない。
正しい損失関数を定義するために、確率測度 $\mu$ on $\mathcal{x} \times \mathcal{y}$ に対する正規条件付き確率測度 $\mu_{\mathcal{y}|\mathcal{x}}$ を、線型作用素方程式の解として、$\pi_{\mathcal{x}}: \mathcal{x}\times\mathcal{y}\to \mathcal{x}$ に対して特徴づける。
もし$\mathcal{y}$ が分離可能な距離化可能な位相空間で、ボレル $\sigma$-algebra $ \mathcal{b} (\mathcal{y})$ が成り立つなら、正規条件付き確率測度 $\mu_{\mathcal{y}|\mathcal{x}}$ を、マルコフ核の空間上の平均二乗誤差の最小値として、$\mathcal{x}$ から$\mathcal{y}$ に、カーネル平均埋め込みを用いた別の特徴付けを提案する。
これらの結果を用いて、学習アルゴリズムの一般化可能性の定量化に内部測度を用いて、回帰モデルの学習可能性に関するCucker-Smaleによる結果の一般化を条件付き確率推定問題の設定に与える。
また,確率的不適切な問題を解くためのvapnikの正規化手法の変種を与え,その応用について述べる。
関連論文リスト
- Statistical Learning under Heterogenous Distribution Shift [61.09364869807136]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
我々は、$mathcalF$ が $mathcalG$ よりも "simpler" であるとき(例えば、計量エントロピーの観点から測られる)、我々の予測子は、エンフェテロジニティに対してより弾力的であることを示す。
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Cryptographic Hardness of Learning Halfspaces with Massart Noise [59.8587499110224]
マスアートノイズの存在下でのPAC学習ハーフスペースの複雑さについて検討した。
我々は,最適0-1誤差が小さい場合でも,リアルタイムのMassartハーフスペース学習者が$Omega(eta)$よりも良い誤差を得られることを示す。
論文 参考訳（メタデータ） (2022-07-28T17:50:53Z) - Beyond Independent Measurements: General Compressed Sensing with GNN
Application [4.924126492174801]
我々は、ノイズコーン観測からmathbbRn$の構造化信号$mathbfxを復元する問題を考察する。
実効的な$mathbfB$は測定値のサロゲートとして用いられる可能性がある。
論文 参考訳（メタデータ） (2021-10-30T20:35:56Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Threshold Phenomena in Learning Halfspaces with Massart Noise [56.01192577666607]
ガウス境界の下でのマスアートノイズ付きmathbbRd$におけるPAC学習ハーフスペースの問題について検討する。
この結果は,Massartモデルにおける学習ハーフスペースの複雑さを定性的に特徴づけるものである。
論文 参考訳（メタデータ） (2021-08-19T16:16:48Z) - Universal Regular Conditional Distributions via Probability
Measure-Valued Deep Neural Models [3.8073142980733]
提案したフレームワークを用いて構築されたモデルはすべて、$C(mathcalX,mathcalP_1(mathcalY))$で密集している。
提案モデルはまた、ほとんどのランダム化された機械学習モデルに存在するアレラトリック不確かさを汎用的に表現できることも示している。
論文 参考訳（メタデータ） (2021-05-17T11:34:09Z) - Probabilistic Iterative Methods for Linear Systems [5.457842083043013]
我々は、 $mathbbRd$ 上の標準反復法が、確率分布の空間に作用するために、$mathcalP(mathbbRd)$ を解除することを示す。
この論文で提案される反復的手法の出力は、数学P(mathbbRd)$における確率分布の列$mu_mである。
論文 参考訳（メタデータ） (2020-12-23T11:55:57Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳（メタデータ） (2020-08-17T22:11:26Z) - Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and
ReLUs under Gaussian Marginals [49.60752558064027]
ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。
我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
論文 参考訳（メタデータ） (2020-06-29T17:10:10Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。