論文の概要: On the Consistency of Kernel Methods with Dependent Observations
- arxiv url: http://arxiv.org/abs/2406.06101v1
- Date: Mon, 10 Jun 2024 08:35:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 14:37:02.499393
- Title: On the Consistency of Kernel Methods with Dependent Observations
- Title(参考訳): 依存観測によるカーネル手法の整合性について
- Authors: Pierre-François Massiani, Sebastian Trimpe, Friedrich Solowjow,
- Abstract要約: 本稿では,カーネル法においてこのような現象を説明する経験的弱収束(EWC)の概念を提案する。
EWCはランダムなデータ分布の存在を仮定し、フィールドにおける以前の仮定を厳格に弱める。
本研究は,学習過程の新たなクラスを統計的学習に開放し,i.d.以上の学習理論と混合の基礎として機能する。
- 参考スコア(独自算出の注目度): 5.467140383171385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The consistency of a learning method is usually established under the assumption that the observations are a realization of an independent and identically distributed (i.i.d.) or mixing process. Yet, kernel methods such as support vector machines (SVMs), Gaussian processes, or conditional kernel mean embeddings (CKMEs) all give excellent performance under sampling schemes that are obviously non-i.i.d., such as when data comes from a dynamical system. We propose the new notion of empirical weak convergence (EWC) as a general assumption explaining such phenomena for kernel methods. It assumes the existence of a random asymptotic data distribution and is a strict weakening of previous assumptions in the field. Our main results then establish consistency of SVMs, kernel mean embeddings, and general Hilbert-space valued empirical expectations with EWC data. Our analysis holds for both finite- and infinite-dimensional outputs, as we extend classical results of statistical learning to the latter case. In particular, it is also applicable to CKMEs. Overall, our results open new classes of processes to statistical learning and can serve as a foundation for a theory of learning beyond i.i.d. and mixing.
- Abstract(参考訳): 学習方法の整合性は通常、観測が独立で同一に分布した(d.d.)混合過程の実現であるという仮定のもとに確立される。
しかし、サポートベクトルマシン(SVM)、ガウス過程(英語版)、条件付きカーネル平均埋め込み(CKME)といったカーネルメソッドは、データが動的システムから来る場合など、明らかに非単位のサンプリングスキームの下で優れた性能を与える。
本稿では,カーネル手法の現象を説明する一般的な仮定として,経験的弱収束(EWC)の概念を提案する。
これは無作為な漸近データ分布の存在を仮定し、フィールドにおける以前の仮定を厳格に弱めるものである。
我々の主な成果は、SVMの整合性、カーネルの平均埋め込み、そして一般的なヒルベルト空間は、EWCデータによる実証的な期待値を確立した。
我々の解析は、統計的学習の古典的な結果が後者の場合にまで拡張されるにつれて、有限次元および無限次元の出力の両方に当てはまる。
特にCKMEにも適用できる。
総合的に,本研究は統計学習に新たなプロセスのクラスを開放し,i.d.以上の学習理論と混合の基礎として機能する。
関連論文リスト
- Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances [2.317910166616341]
統計的推測では、標本は独立であり、確率分布から同一に分布していると一般的に仮定する。
本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。
論文 参考訳(メタデータ) (2024-10-28T05:50:47Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - Learning to Embed Distributions via Maximum Kernel Entropy [0.0]
固有データは、確率分布の集合からのサンプルと見なすことができる。
カーネルメソッドは、これらの分布を分類する学習の自然なアプローチとして現れてきた。
データ依存分散カーネルの教師なし学習のための新しい目的を提案する。
論文 参考訳(メタデータ) (2024-08-01T13:34:19Z) - Variance-Aware Estimation of Kernel Mean Embedding [8.277998582564784]
再生カーネルヒルベルト空間における分散情報を利用して収束を高速化する方法を示す。
このような情報が未知の事前情報であっても、効率的にデータから推定できることが示される。
論文 参考訳(メタデータ) (2022-10-13T01:58:06Z) - Nonparametric Conditional Local Independence Testing [69.31200003384122]
条件付き局所独立は、連続的な時間プロセス間の独立関係である。
条件付き地域独立の非パラメトリックテストは行われていない。
二重機械学習に基づく非パラメトリックテストを提案する。
論文 参考訳(メタデータ) (2022-03-25T10:31:02Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳(メタデータ) (2022-02-01T17:46:51Z) - Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。
与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。
本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
論文 参考訳(メタデータ) (2021-06-04T04:54:25Z) - Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。
本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。
我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
論文 参考訳(メタデータ) (2020-11-12T16:07:18Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳(メタデータ) (2020-09-27T14:16:14Z) - Federated Doubly Stochastic Kernel Learning for Vertically Partitioned
Data [93.76907759950608]
本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。
本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
論文 参考訳(メタデータ) (2020-08-14T05:46:56Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。