論文の概要: Robust Kernel-based Distribution Regression

• arxiv url: http://arxiv.org/abs/2104.10637v1
• Date: Wed, 21 Apr 2021 17:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 15:17:35.606244
• Title: Robust Kernel-based Distribution Regression
• Title（参考訳）: ロバストカーネルに基づく分布回帰
• Authors: Zhan Yu, Daniel W. C. Ho, Ding-Xuan Zhou
• Abstract要約: 2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。 2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
• 参考スコア（独自算出の注目度）: 13.426195476348955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization schemes for regression have been widely studied in learning theory and inverse problems. In this paper, we study distribution regression (DR) which involves two stages of sampling, and aims at regressing from probability measures to real-valued responses over a reproducing kernel Hilbert space (RKHS). Recently, theoretical analysis on DR has been carried out via kernel ridge regression and several learning behaviors have been observed. However, the topic has not been explored and understood beyond the least square based DR. By introducing a robust loss function $l_{\sigma}$ for two-stage sampling problems, we present a novel robust distribution regression (RDR) scheme. With a windowing function $V$ and a scaling parameter $\sigma$ which can be appropriately chosen, $l_{\sigma}$ can include a wide range of popular used loss functions that enrich the theme of DR. Moreover, the loss $l_{\sigma}$ is not necessarily convex, hence largely improving the former regression class (least square) in the literature of DR. The learning rates under different regularity ranges of the regression function $f_{\rho}$ are comprehensively studied and derived via integral operator techniques. The scaling parameter $\sigma$ is shown to be crucial in providing robustness and satisfactory learning rates of RDR.
• Abstract（参考訳）: 回帰の正規化スキームは学習理論や逆問題において広く研究されている。 本稿では,サンプリングの2段階を含む分布回帰(dr)について検討し,再生成核ヒルベルト空間(rkhs)上の確率測度から実数値応答への回帰を目標とする。 近年,カーネルリッジレグレッションによるDRの理論解析が実施され,いくつかの学習行動が観察されている。 しかし,二段階サンプリング問題に対してロバスト損失関数 $l_{\sigma}$ を導入することで,最小二乗法以上の話題を探求・理解することはできず,新たなロバスト分布回帰法(rdr)を提案する。 ウィンドウリング関数 $V$ とスケーリングパラメータ $\sigma$ が適切に選択でき、$l_{\sigma}$ は、DR のテーマを豊かにする、広く使われている損失関数を含むことができる。 さらに、損失 $l_{\sigma}$ は必ずしも凸ではなく、従って dr の文献における以前の回帰クラス (least square) を大幅に改善した。 回帰関数 $f_{\rho}$ の異なる正規性範囲の学習率を包括的に研究し、積分作用素法を用いて導出する。 スケーリングパラメータ$\sigma$は、RDRの堅牢性と良好な学習率を提供する上で重要である。

関連論文リスト

• Logarithmic Regret for Online KL-Regularized Reinforcement Learning [51.113248212150964]
  KL正規化は、大規模言語モデルにおけるRL微調整の効率向上に重要な役割を果たしている。 経験的優位性にもかかわらず、KL-正則化RLと標準RLの理論的相違はほとんど未探索のままである。 楽観的なKL正規化オンライン文脈帯域幅アルゴリズムを提案し,その後悔の新たな分析法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T11:11:05Z)
• Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution [0.0]
  寸法$p$がサンプルサイズ$n$より小さい場合、バイアスを効果的に補正するための反復戦略を導入する。 p>n$の場合、提案した非バイアス推定器の残余バイアスが到達不能であるようなバイアスを最適に緩和する。 本手法は,様々な分野にわたるリッジ回帰推論におけるバイアス問題に対する変換解を提供する。
  論文  参考訳（メタデータ） (2024-05-01T10:05:19Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• PRIMO: Private Regression in Multiple Outcomes [2.900810893770134]
  我々は、PRIMO(Private Regression in Multiple Outcomes)と呼ばれる新しいプライベートレグレッション設定を導入する。 PRIMOは、プライバシを保持しながら、データアナリストが$l$のレグレッションを実行したいという一般的な状況にインスパイアされている。 理論が予測するよりもはるかに小さい$l$の値であっても、射影法は射影を使わない変種と比較して精度を向上させる。
  論文  参考訳（メタデータ） (2023-03-07T19:32:13Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• ReLU Regression with Massart Noise [52.10842036932169]
  本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。 我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。 このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-10T02:13:22Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Stochastic Gradient Descent Meets Distribution Regression [0.0]
  勾配降下(SGD)は、幅広い機械学習問題を解決するためのシンプルで効率的な方法である。 本稿では,2段階のサンプリングを含む分布回帰(DR)に注目した。
  論文  参考訳（メタデータ） (2020-10-24T09:03:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。