論文の概要: Geometric Interpretation of Running Nystr\"{o}m-Based Kernel Machines
and Error Analysis
- arxiv url: http://arxiv.org/abs/2002.08937v2
- Date: Sat, 18 Sep 2021 16:34:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:59:32.524671
- Title: Geometric Interpretation of Running Nystr\"{o}m-Based Kernel Machines
and Error Analysis
- Title（参考訳）: Nystr\"{o}m-based Kernel Machineの幾何学的解釈と誤差解析
- Authors: Weida Li, Mingxia Liu, Daoqiang Zhang
- Abstract要約: 我々は,Nystr "om-based kernel machine" を実行するための幾何学的解釈を用いた新しい手法を開発した。
他の2つのよく研究されたアプローチは、等価に我々の提案したアプローチに変換できることを示す。
- 参考スコア（独自算出の注目度）: 35.01395939823442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Nystr\"{o}m method has proved its prominence empirically and
theoretically in speeding up the training of kernel machines while retaining
satisfactory performances and accuracy. So far, there are several different
approaches proposed to exploit Nystr\"{o}m method in scaling up kernel
machines. However, there is no comparative study over these approaches, and
they were individually analyzed for specific types of kernel machines.
Therefore, it remains a question that the philosophy of which approach is more
promising when it extends to other kernel machines. In this work, motivated by
the column inclusion property of Gram matrices, we develop a new approach with
a clear geometric interpretation for running Nystr\"{o}m-based kernel machines.
We show that the other two well-studied approaches can be equivalently
transformed to be our proposed one. Consequently, analysis established for the
proposed approach also works for these two. Particularly, our proposed approach
makes it possible to develop approximation errors in a general setting.
Besides, our analysis also manifests the relations among the aforementioned two
approaches and another naive one. First, the analytical forms of the
corresponding approximate solutions are only at odds with one term. Second, the
naive approach can be implemented efficiently by sharing the same training
procedure with others. These analytical results lead to the conjecture that the
naive approach can provide more accurate approximate solutions than the other
two sophisticated approaches. Since our analysis also offers ways for computing
the accuracy of these approximate solutions, we run experiments with
classification tasks to confirm our conjecture.
- Abstract（参考訳）: 近年、Nystr\"{o}m法は、カーネルマシンのトレーニングの高速化を実証的かつ理論的に証明し、良好な性能と精度を維持している。
これまでのところ、カーネルマシンのスケールアップにNystr\"{o}m メソッドを利用する方法はいくつか提案されている。
しかし、これらのアプローチに関する比較研究は存在せず、特定の種類のカーネルマシンについて個別に分析された。
したがって、他のカーネルマシンに拡張した場合、そのアプローチの哲学がより有望であることには疑問が残る。
本研究では, グラム行列の列包含特性を動機とし, nystr\"{o}mベースのカーネルマシンを実行するための, 明確な幾何学的解釈を用いた新しいアプローチを開発した。
他の2つのよく研究されたアプローチは、提案するアプローチに等価に変換できることを示す。
その結果、提案手法の確立された分析もこれら2つに有効である。
特に,提案手法により,一般的な設定で近似誤差を発生させることができる。
さらに,上記の2つのアプローチとネイティブなアプローチとの関係についても分析を行った。
まず、対応する近似解の解析形式は、1つの項と相反するだけである。
第2に、同じトレーニング手順を他の人と共有することで、ナイーブなアプローチを効率的に実装することができる。
これらの分析結果は、ネーブアプローチが他の2つの洗練されたアプローチよりもより正確な近似解を提供できるという予想を導いた。
また,これらの近似解の精度を計算する方法も提案するので,分類タスクを用いた実験を行い,推測を検証した。
関連論文リスト
- Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Isotropic Gaussian Processes on Finite Spaces of Graphs [71.26737403006778]
種々の非重み付きグラフの集合上でガウス過程の先行を定義するための原理的手法を提案する。
さらに、未重み付きグラフの同値類の集合を検討し、それに対する事前の適切なバージョンを定義する。
化学の応用に触発されて、我々は、小データ構造における実際の分子特性予測タスクについて、提案手法を解説した。
論文 参考訳（メタデータ） (2022-11-03T10:18:17Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳（メタデータ） (2022-09-27T19:04:36Z) - Gaussian Processes and Statistical Decision-making in Non-Euclidean
Spaces [96.53463532832939]
我々はガウス過程の適用性を高める技術を開発した。
この観点から構築した効率的な近似を幅広く導入する。
非ユークリッド空間上のガウス過程モデルの集合を開発する。
論文 参考訳（メタデータ） (2022-02-22T01:42:57Z) - Linear Time Kernel Matrix Approximation via Hyperspherical Harmonics [3.24890820102255]
機械学習のカーネル手法で発生する行列の低ランク近似を構築するための新しい手法を提案する。
提案手法では,基礎となるカーネル関数の解析的拡張をデータ依存圧縮ステップと組み合わせて,近似をさらに最適化する。
実験の結果,提案手法は,与えられたランクの精度と,与えられた精度の計算時間の両方に関して,カーネル,次元,データセットにまたがってよく用いられるNystrom法と比較した。
論文 参考訳（メタデータ） (2022-02-08T05:19:39Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳（メタデータ） (2021-06-23T15:55:47Z) - A Joint introduction to Gaussian Processes and Relevance Vector Machines
with Connections to Kalman filtering and other Kernel Smoothers [5.035807711584951]
本稿では,確率ベイズ的スキームの領域にまたがる2つの手法と回帰のためのカーネル手法を紹介する。
これらのモデルの背後にある数学的概念の理解を提供し、他の手法との関係を強調する。
これは、この2つの手法に焦点を当てた、これまでで最も詳細な研究であり、データサイエンス、信号処理、機械学習、人工知能全般の領域における理論的な理解と実践者に関連する。
論文 参考訳（メタデータ） (2020-09-19T12:22:41Z) - A Perturbation-Based Kernel Approximation Framework [0.0]
我々は、古典的摂動理論に基づく摂動に基づくカーネル近似フレームワークを導出する。
提案手法は, 近似されたカーネル行列の構造を利用するために調整可能な, 新たなカーネル近似スキームを創出することを示す。
論文 参考訳（メタデータ） (2020-09-07T09:14:18Z) - Generalized vec trick for fast learning of pairwise kernel models [3.867363075280544]
本稿では、オブジェクト間の関係に関する事前知識を組み込むために提案されている、ペアワイズカーネルの包括的なレビューを紹介する。
レビューされたすべてのカーネルがKronecker製品の和として表現できることを示し、一般化されたvecトリックを使用して計算を高速化する。
論文 参考訳（メタデータ） (2020-09-02T13:27:51Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。