論文の概要: Learning primal-dual sparse kernel machines

• arxiv url: http://arxiv.org/abs/2108.12199v1
• Date: Fri, 27 Aug 2021 09:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-30 14:10:51.717092
• Title: Learning primal-dual sparse kernel machines
• Title（参考訳）: 原始二重スパースカーネルマシンの学習
• Authors: Riikka Huusari, Sahely Bhadra, C\'ecile Capponi, Hachem Kadri, Juho Rousu
• Abstract要約: 伝統的に、カーネル法は、学習問題の解は再生されたカーネルヒルベルト空間(RKHS)にマッピングされたデータの線形結合として得られるという代表者定理に依存している。 本稿では,RKHS の要素が必ずしもトレーニングセットの要素に対応するとは限らない元データ空間において,前像分解を持つ解を求めることを提案する。 勾配に基づく手法は入力空間のスパース要素の最適化に重きを置き、原始空間と双対空間の両方でカーネルベースのモデルを得ることができる。
• 参考スコア（独自算出の注目度）: 10.230121160034674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditionally, kernel methods rely on the representer theorem which states that the solution to a learning problem is obtained as a linear combination of the data mapped into the reproducing kernel Hilbert space (RKHS). While elegant from theoretical point of view, the theorem is prohibitive for algorithms' scalability to large datasets, and the interpretability of the learned function. In this paper, instead of using the traditional representer theorem, we propose to search for a solution in RKHS that has a pre-image decomposition in the original data space, where the elements don't necessarily correspond to the elements in the training set. Our gradient-based optimisation method then hinges on optimising over possibly sparse elements in the input space, and enables us to obtain a kernel-based model with both primal and dual sparsity. We give theoretical justification on the proposed method's generalization ability via a Rademacher bound. Our experiments demonstrate a better scalability and interpretability with accuracy on par with the traditional kernel-based models.
• Abstract（参考訳）: 伝統的に、カーネル法は、学習問題の解が再生核ヒルベルト空間(英語版)(rkhs)に写像されたデータの線形結合として得られることを述べるrepresenter定理に依存している。 理論的な観点からはエレガントだが、この定理はアルゴリズムの大規模データセットへの拡張性や学習関数の解釈可能性に対して禁止されている。 本稿では、従来の代表者定理の代わりに、元のデータ空間における前像分解を持つRKHSの解を探索することを提案する。 勾配に基づく最適化手法は入力空間のスパース要素の最適化に重きを置き、原始的および双対的なスパース性を持つカーネルベースモデルを得ることができる。 提案手法の一般化能力をRademacher境界を用いて理論的に正当化する。 実験では,従来のカーネルモデルと同等の精度で,スケーラビリティと解釈性を実証した。

関連論文リスト

• Scalable Kernel Inverse Optimization [2.799896314754615]
  逆最適化は、専門家の意思決定者の未知の目的関数を過去のデータセットから学習するためのフレームワークである。 我々は IO 目的関数の仮説クラスをカーネルヒルベルト空間の再現に拡張する。 代表者定理の変種が特定の訓練損失を負うことを示し、有限次元凸最適化プログラムとして問題の再構成を可能にする。
  論文  参考訳（メタデータ） (2024-10-31T14:06:43Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
  我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。 この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
  論文  参考訳（メタデータ） (2023-08-01T20:22:53Z)
• Learning nonparametric ordinary differential equations from noisy data [0.10555513406636088]
  雑音データから通常の微分方程式(ODE)ドットx = f(t,x)の非パラメトリックシステムを学ぶことは、新しい機械学習トピックである。 再生ケルネルヒルベルト空間(RKHS)の理論を用いて、ODEの解が存在し、一意である f の候補を定義する。 本稿では,Representer定理とオイラー近似を反復的に用いて数値解を与えるペナルティ法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:59:40Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Neural Fields as Learnable Kernels for 3D Reconstruction [101.54431372685018]
  本稿では,学習したカーネルリッジの回帰に基づいて,暗黙の3次元形状を再構成する手法を提案する。 本手法は,3次元オブジェクトと大画面をスパース指向の点から再構成する際の最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:04Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。