論文の概要: Generalized vec trick for fast learning of pairwise kernel models
- arxiv url: http://arxiv.org/abs/2009.01054v2
- Date: Fri, 4 Feb 2022 12:30:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 18:45:00.280220
- Title: Generalized vec trick for fast learning of pairwise kernel models
- Title（参考訳）: 双対カーネルモデルの高速学習のための一般化ベックトリック
- Authors: Markus Viljanen, Antti Airola, Tapio Pahikkala
- Abstract要約: 本稿では、オブジェクト間の関係に関する事前知識を組み込むために提案されている、ペアワイズカーネルの包括的なレビューを紹介する。
レビューされたすべてのカーネルがKronecker製品の和として表現できることを示し、一般化されたvecトリックを使用して計算を高速化する。
- 参考スコア（独自算出の注目度）: 3.867363075280544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pairwise learning corresponds to the supervised learning setting where the
goal is to make predictions for pairs of objects. Prominent applications
include predicting drug-target or protein-protein interactions, or
customer-product preferences. In this work, we present a comprehensive review
of pairwise kernels, that have been proposed for incorporating prior knowledge
about the relationship between the objects. Specifically, we consider the
standard, symmetric and anti-symmetric Kronecker product kernels,
metric-learning, Cartesian, ranking, as well as linear, polynomial and Gaussian
kernels. Recently, a O(nm + nq) time generalized vec trick algorithm, where n,
m, and q denote the number of pairs, drugs and targets, was introduced for
training kernel methods with the Kronecker product kernel. This was a
significant improvement over previous O(n^2) training methods, since in most
real-world applications m,q << n. In this work we show how all the reviewed
kernels can be expressed as sums of Kronecker products, allowing the use of
generalized vec trick for speeding up their computation. In the experiments, we
demonstrate how the introduced approach allows scaling pairwise kernels to much
larger data sets than previously feasible, and provide an extensive comparison
of the kernels on a number of biological interaction prediction tasks.
- Abstract（参考訳）: ペアワイズ学習は、目的がオブジェクトのペアの予測を行うことである教師付き学習環境に対応する。
主な用途は、薬物とタンパク質の相互作用の予測、顧客と製品の選択などである。
本稿では,オブジェクト間の関係に関する事前知識を組み込んだペアワイズカーネルの包括的レビューを行う。
具体的には、標準、対称、反対称クロネッカー積核、計量学習、カルテジアン、ランキング、および線形、多項式、ガウス的核を考える。
近年,O(nm + nq)時間一般化ベックトリックアルゴリズム (n, m, q) を導入し,Kronecker 製品カーネルを用いたカーネル手法の訓練を行った。
これは従来のO(n^2)トレーニング法よりも大幅に改善され、ほとんどの実世界のアプリケーションではm,q<<n。
本研究では,すべてのレビュー済みカーネルをクロネッカー積の和として表現する方法を示し,その計算を高速化するために一般化されたvecトリックを利用可能にする。
実験では, 提案手法により, 従来よりもはるかに大きなデータセットに, 対角カーネルをスケールできることを示すとともに, 生物相互作用予測タスクにおけるカーネルの広範な比較を行う。
関連論文リスト
- On the Approximation of Kernel functions [0.0]
論文はカーネル自体の近似に対処する。
単位立方体上のヒルベルト・ガウス核に対して、この論文は関連する固有関数の上界を確立する。
この改良により、Nystr"om法のような低階近似法が確かめられる。
論文 参考訳（メタデータ） (2024-03-11T13:50:07Z) - An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳（メタデータ） (2023-08-01T20:22:53Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-15T04:57:37Z) - FaDIn: Fast Discretized Inference for Hawkes Processes with General
Parametric Kernels [82.53569355337586]
この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。
脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。
その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
論文 参考訳（メタデータ） (2022-10-10T12:35:02Z) - Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。
厳密な手法により分類性能は向上するが、計算コストが高い。
本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
論文 参考訳（メタデータ） (2022-09-11T22:44:19Z) - Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning
Perspective [0.8594140167290097]
マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。
我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。
我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
論文 参考訳（メタデータ） (2021-12-18T10:01:34Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Tractable Computation of Expected Kernels by Circuits [35.059091080947205]
我々は、期待されるカーネルを正確かつ効率的に計算できる条件を記述する。
次に、扱いやすい期待カーネルを活用して、カーネル組み込みフレームワークの進歩を実証する。
両アルゴリズムを実証的に評価し,各種データセットの標準ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-02-21T08:59:06Z) - Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。
本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
論文 参考訳（メタデータ） (2020-12-21T13:41:15Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳（メタデータ） (2020-09-27T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。