論文の概要: Robust Kernel-based Distribution Regression
- arxiv url: http://arxiv.org/abs/2104.10637v1
- Date: Wed, 21 Apr 2021 17:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-22 15:17:35.606244
- Title: Robust Kernel-based Distribution Regression
- Title(参考訳): ロバストカーネルに基づく分布回帰
- Authors: Zhan Yu, Daniel W. C. Ho, Ding-Xuan Zhou
- Abstract要約: 2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。
2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
- 参考スコア(独自算出の注目度): 13.426195476348955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regularization schemes for regression have been widely studied in learning
theory and inverse problems. In this paper, we study distribution regression
(DR) which involves two stages of sampling, and aims at regressing from
probability measures to real-valued responses over a reproducing kernel Hilbert
space (RKHS). Recently, theoretical analysis on DR has been carried out via
kernel ridge regression and several learning behaviors have been observed.
However, the topic has not been explored and understood beyond the least square
based DR. By introducing a robust loss function $l_{\sigma}$ for two-stage
sampling problems, we present a novel robust distribution regression (RDR)
scheme. With a windowing function $V$ and a scaling parameter $\sigma$ which
can be appropriately chosen, $l_{\sigma}$ can include a wide range of popular
used loss functions that enrich the theme of DR. Moreover, the loss
$l_{\sigma}$ is not necessarily convex, hence largely improving the former
regression class (least square) in the literature of DR. The learning rates
under different regularity ranges of the regression function $f_{\rho}$ are
comprehensively studied and derived via integral operator techniques. The
scaling parameter $\sigma$ is shown to be crucial in providing robustness and
satisfactory learning rates of RDR.
- Abstract(参考訳): 回帰の正規化スキームは学習理論や逆問題において広く研究されている。
本稿では,サンプリングの2段階を含む分布回帰(dr)について検討し,再生成核ヒルベルト空間(rkhs)上の確率測度から実数値応答への回帰を目標とする。
近年,カーネルリッジレグレッションによるDRの理論解析が実施され,いくつかの学習行動が観察されている。
しかし,二段階サンプリング問題に対してロバスト損失関数 $l_{\sigma}$ を導入することで,最小二乗法以上の話題を探求・理解することはできず,新たなロバスト分布回帰法(rdr)を提案する。
ウィンドウリング関数 $V$ とスケーリングパラメータ $\sigma$ が適切に選択でき、$l_{\sigma}$ は、DR のテーマを豊かにする、広く使われている損失関数を含むことができる。
さらに、損失 $l_{\sigma}$ は必ずしも凸ではなく、従って dr の文献における以前の回帰クラス (least square) を大幅に改善した。
回帰関数 $f_{\rho}$ の異なる正規性範囲の学習率を包括的に研究し、積分作用素法を用いて導出する。
スケーリングパラメータ$\sigma$は、RDRの堅牢性と良好な学習率を提供する上で重要である。
関連論文リスト
- Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Globally Convergent Accelerated Algorithms for Multilinear Sparse
Logistic Regression with $\ell_0$-constraints [2.323238724742687]
多重線形ロジスティック回帰は多次元データ解析の強力なツールである。
本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。
また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
論文 参考訳(メタデータ) (2023-09-17T11:05:08Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - Learning linear operators: Infinite-dimensional regression as a
well-behaved non-compact inverse problem [0.3093890460224435]
経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。
我々は、このゴールを$theta$の逆問題として、そのフォワード演算子が一般に非コンパクトである望ましくない特徴で再定義できることを示します。
論文 参考訳(メタデータ) (2022-11-16T12:33:01Z) - Doubly Robust Distributionally Robust Off-Policy Evaluation and Learning [59.02006924867438]
オフ政治評価と学習(OPE/L)は、オフラインの観察データを使用してより良い意思決定を行う。
近年の研究では、分散ロバストなOPE/L (DROPE/L) が提案されているが、この提案は逆正則重み付けに依存している。
KL分散不確実性集合を用いたDROPE/Lの最初のDRアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-19T20:00:44Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - ReLU Regression with Massart Noise [52.10842036932169]
本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。
我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。
このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-09-10T02:13:22Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Stochastic Gradient Descent Meets Distribution Regression [0.0]
勾配降下(SGD)は、幅広い機械学習問題を解決するためのシンプルで効率的な方法である。
本稿では,2段階のサンプリングを含む分布回帰(DR)に注目した。
論文 参考訳(メタデータ) (2020-10-24T09:03:00Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。