論文の概要: Improved learning theory for kernel distribution regression with
two-stage sampling
- arxiv url: http://arxiv.org/abs/2308.14335v1
- Date: Mon, 28 Aug 2023 06:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:22:18.669525
- Title: Improved learning theory for kernel distribution regression with
two-stage sampling
- Title(参考訳): 2段階サンプリングによるカーネル分布回帰の学習理論の改善
- Authors: Fran\c{c}ois Bachoc and Louis B\'ethune and Alberto Gonz\'alez-Sanz
and Jean-Michel Loubes
- Abstract要約: カーネルメソッドは分散回帰問題に取り組む方法として選択されている。
ヒルベルトの埋め込みに対して,新しい誤差境界を提供する新しい非バイアス条件を導入する。
この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに当てはまることを示す。
- 参考スコア(独自算出の注目度): 3.154269505086155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The distribution regression problem encompasses many important statistics and
machine learning tasks, and arises in a large range of applications. Among
various existing approaches to tackle this problem, kernel methods have become
a method of choice. Indeed, kernel distribution regression is both
computationally favorable, and supported by a recent learning theory. This
theory also tackles the two-stage sampling setting, where only samples from the
input distributions are available. In this paper, we improve the learning
theory of kernel distribution regression. We address kernels based on
Hilbertian embeddings, that encompass most, if not all, of the existing
approaches. We introduce the novel near-unbiased condition on the Hilbertian
embeddings, that enables us to provide new error bounds on the effect of the
two-stage sampling, thanks to a new analysis. We show that this near-unbiased
condition holds for three important classes of kernels, based on optimal
transport and mean embedding. As a consequence, we strictly improve the
existing convergence rates for these kernels. Our setting and results are
illustrated by numerical experiments.
- Abstract(参考訳): 分散回帰問題は、多くの重要な統計と機械学習タスクを含み、広範囲のアプリケーションで発生する。
この問題を解決するための既存の様々なアプローチの中で、カーネルメソッドは選択方法となっている。
実際、カーネル分布の回帰は計算上有利であり、最近の学習理論によって支持されている。
この理論は、2段階のサンプリング設定にも取り組み、入力分布からのサンプルのみが利用できる。
本稿では,カーネル分布回帰の学習理論を改善する。
我々は、既存のアプローチの大部分を包含するヒルベルトの埋め込みに基づくカーネルに対処する。
新たな解析により, 2段階サンプリングの効果に新たな誤差境界を与えることができる, ヒルベルト埋め込みに対する近似偏り条件を導入する。
この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに対して成り立つことを示す。
その結果、これらのカーネルの既存の収束率を厳密に改善する。
我々の設定と結果は数値実験によって示される。
関連論文リスト
- Non-asymptotic Convergence of Discrete-time Diffusion Models: New
Approach and Improved Rate [54.596887384531236]
我々は離散時間拡散モデルの下で、分布のかなり大きなクラスに対する収束保証を確立する。
パラメータ依存を明示した分布の興味深いクラスに対して,結果の専門化を行う。
本稿では,新しい加速サンプリング器を提案し,対応する正則サンプリング器の収束率を桁違いに向上することを示す。
論文 参考訳(メタデータ) (2024-02-21T16:11:47Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Minimax Optimal Transfer Learning for Kernel-based Nonparametric
Regression [18.240776405802205]
本稿では,非パラメトリック回帰の文脈における伝達学習問題について考察する。
目的は、実用性と理論的保証の間のギャップを埋めることである。
論文 参考訳(メタデータ) (2023-10-21T10:55:31Z) - Variational Autoencoder Kernel Interpretation and Selection for
Classification [59.30734371401315]
本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。
提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。
サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
論文 参考訳(メタデータ) (2022-09-10T17:22:53Z) - Coefficient-based Regularized Distribution Regression [4.21768682940933]
我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。
回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。
最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
論文 参考訳(メタデータ) (2022-08-26T03:46:14Z) - Self-supervised learning with rotation-invariant kernels [4.059849656394191]
組込み分布を超球面上の均一分布に近接させる汎用正規化損失を設計するための汎用カーネルフレームワークを提案する。
我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネルとも呼ばれる)を使用する。
本実験は, 回転不変カーネルを用いることで, 最先端の手法と比較して, 競合する結果が得られることを示した。
論文 参考訳(メタデータ) (2022-07-28T08:06:24Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-06-18T08:33:45Z) - Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。
ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
論文 参考訳(メタデータ) (2020-06-30T13:00:16Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳(メタデータ) (2020-02-21T03:54:23Z) - RFN: A Random-Feature Based Newton Method for Empirical Risk
Minimization in Reproducing Kernel Hilbert Spaces [14.924672048447334]
大規模な有限サム問題はニュートン法の効率的な変種を用いて解くことができ、ヘッセンはデータのサブサンプルによって近似される。
本稿では,このような問題に対して,ニュートン法を高速化するためにカーネル近似を自然に利用できることを考察する。
局所超線型収束と大域線形収束を両立させる新しい2次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-12T01:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。