論文の概要: Improved learning theory for kernel distribution regression with two-stage sampling

• arxiv url: http://arxiv.org/abs/2308.14335v1
• Date: Mon, 28 Aug 2023 06:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 15:22:18.669525
• Title: Improved learning theory for kernel distribution regression with two-stage sampling
• Title（参考訳）: 2段階サンプリングによるカーネル分布回帰の学習理論の改善
• Authors: Fran\c{c}ois Bachoc and Louis B\'ethune and Alberto Gonz\'alez-Sanz and Jean-Michel Loubes
• Abstract要約: カーネルメソッドは分散回帰問題に取り組む方法として選択されている。 ヒルベルトの埋め込みに対して,新しい誤差境界を提供する新しい非バイアス条件を導入する。 この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに当てはまることを示す。
• 参考スコア（独自算出の注目度）: 3.154269505086155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distribution regression problem encompasses many important statistics and machine learning tasks, and arises in a large range of applications. Among various existing approaches to tackle this problem, kernel methods have become a method of choice. Indeed, kernel distribution regression is both computationally favorable, and supported by a recent learning theory. This theory also tackles the two-stage sampling setting, where only samples from the input distributions are available. In this paper, we improve the learning theory of kernel distribution regression. We address kernels based on Hilbertian embeddings, that encompass most, if not all, of the existing approaches. We introduce the novel near-unbiased condition on the Hilbertian embeddings, that enables us to provide new error bounds on the effect of the two-stage sampling, thanks to a new analysis. We show that this near-unbiased condition holds for three important classes of kernels, based on optimal transport and mean embedding. As a consequence, we strictly improve the existing convergence rates for these kernels. Our setting and results are illustrated by numerical experiments.
• Abstract（参考訳）: 分散回帰問題は、多くの重要な統計と機械学習タスクを含み、広範囲のアプリケーションで発生する。 この問題を解決するための既存の様々なアプローチの中で、カーネルメソッドは選択方法となっている。 実際、カーネル分布の回帰は計算上有利であり、最近の学習理論によって支持されている。 この理論は、2段階のサンプリング設定にも取り組み、入力分布からのサンプルのみが利用できる。 本稿では,カーネル分布回帰の学習理論を改善する。 我々は、既存のアプローチの大部分を包含するヒルベルトの埋め込みに基づくカーネルに対処する。 新たな解析により, 2段階サンプリングの効果に新たな誤差境界を与えることができる, ヒルベルト埋め込みに対する近似偏り条件を導入する。 この条件は、最適輸送と平均埋め込みに基づくカーネルの3つの重要なクラスに対して成り立つことを示す。 その結果、これらのカーネルの既存の収束率を厳密に改善する。 我々の設定と結果は数値実験によって示される。

関連論文リスト

• Mirror Descent on Reproducing Kernel Banach Spaces [12.716091600034543]
  本稿では,再生カーネルを用いたバナッハ空間の学習問題に対処する。 再生カーネルを用いてバナッハ空間の双対空間における勾配ステップを利用するアルゴリズムを提案する。 実際にこのアルゴリズムをインスタンス化するために、$p$-normのRKBSの新しいファミリーを導入する。
  論文  参考訳（メタデータ） (2024-11-18T02:18:32Z)
• Learning to Embed Distributions via Maximum Kernel Entropy [0.0]
  固有データは、確率分布の集合からのサンプルと見なすことができる。 カーネルメソッドは、これらの分布を分類する学習の自然なアプローチとして現れてきた。 データ依存分散カーネルの教師なし学習のための新しい目的を提案する。
  論文  参考訳（メタデータ） (2024-08-01T13:34:19Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• Coefficient-based Regularized Distribution Regression [4.21768682940933]
  我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。 回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。 最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
  論文  参考訳（メタデータ） (2022-08-26T03:46:14Z)
• Self-supervised learning with rotation-invariant kernels [4.059849656394191]
  組込み分布を超球面上の均一分布に近接させる汎用正規化損失を設計するための汎用カーネルフレームワークを提案する。 我々のフレームワークは、ハイパースフィア上で定義された回転不変カーネル(ドット生成カーネルとも呼ばれる)を使用する。 本実験は, 回転不変カーネルを用いることで, 最先端の手法と比較して, 競合する結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-07-28T08:06:24Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。