論文の概要: Robust Kernel-based Distribution Regression

• arxiv url: http://arxiv.org/abs/2104.10637v1
• Date: Wed, 21 Apr 2021 17:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 15:17:35.606244
• Title: Robust Kernel-based Distribution Regression
• Title（参考訳）: ロバストカーネルに基づく分布回帰
• Authors: Zhan Yu, Daniel W. C. Ho, Ding-Xuan Zhou
• Abstract要約: 2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。 2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
• 参考スコア（独自算出の注目度）: 13.426195476348955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization schemes for regression have been widely studied in learning theory and inverse problems. In this paper, we study distribution regression (DR) which involves two stages of sampling, and aims at regressing from probability measures to real-valued responses over a reproducing kernel Hilbert space (RKHS). Recently, theoretical analysis on DR has been carried out via kernel ridge regression and several learning behaviors have been observed. However, the topic has not been explored and understood beyond the least square based DR. By introducing a robust loss function $l_{\sigma}$ for two-stage sampling problems, we present a novel robust distribution regression (RDR) scheme. With a windowing function $V$ and a scaling parameter $\sigma$ which can be appropriately chosen, $l_{\sigma}$ can include a wide range of popular used loss functions that enrich the theme of DR. Moreover, the loss $l_{\sigma}$ is not necessarily convex, hence largely improving the former regression class (least square) in the literature of DR. The learning rates under different regularity ranges of the regression function $f_{\rho}$ are comprehensively studied and derived via integral operator techniques. The scaling parameter $\sigma$ is shown to be crucial in providing robustness and satisfactory learning rates of RDR.
• Abstract（参考訳）: 回帰の正規化スキームは学習理論や逆問題において広く研究されている。 本稿では,サンプリングの2段階を含む分布回帰(dr)について検討し,再生成核ヒルベルト空間(rkhs)上の確率測度から実数値応答への回帰を目標とする。 近年,カーネルリッジレグレッションによるDRの理論解析が実施され,いくつかの学習行動が観察されている。 しかし,二段階サンプリング問題に対してロバスト損失関数 $l_{\sigma}$ を導入することで,最小二乗法以上の話題を探求・理解することはできず,新たなロバスト分布回帰法(rdr)を提案する。 ウィンドウリング関数 $V$ とスケーリングパラメータ $\sigma$ が適切に選択でき、$l_{\sigma}$ は、DR のテーマを豊かにする、広く使われている損失関数を含むことができる。 さらに、損失 $l_{\sigma}$ は必ずしも凸ではなく、従って dr の文献における以前の回帰クラス (least square) を大幅に改善した。 回帰関数 $f_{\rho}$ の異なる正規性範囲の学習率を包括的に研究し、積分作用素法を用いて導出する。 スケーリングパラメータ$\sigma$は、RDRの堅牢性と良好な学習率を提供する上で重要である。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution [0.0]
  寸法$p$がサンプルサイズ$n$より小さい場合、バイアスを効果的に補正するための反復戦略を導入する。 p>n$の場合、提案した非バイアス推定器の残余バイアスが到達不能であるようなバイアスを最適に緩和する。 本手法は,様々な分野にわたるリッジ回帰推論におけるバイアス問題に対する変換解を提供する。
  論文  参考訳（メタデータ） (2024-05-01T10:05:19Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem [4.503368323711748]
  経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。 この目標を$theta$の逆問題として、フォワード演算子が一般に非コンパクトであるような特徴で再定義できることが示される。 この逆問題は、スカラー応答回帰の導出に伴う既知のコンパクト逆問題と等価であることを示す。
  論文  参考訳（メタデータ） (2022-11-16T12:33:01Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• ReLU Regression with Massart Noise [52.10842036932169]
  本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。 我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。 このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-10T02:13:22Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Stochastic Gradient Descent Meets Distribution Regression [0.0]
  勾配降下(SGD)は、幅広い機械学習問題を解決するためのシンプルで効率的な方法である。 本稿では,2段階のサンプリングを含む分布回帰(DR)に注目した。
  論文  参考訳（メタデータ） (2020-10-24T09:03:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。