論文の概要: Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective

• arxiv url: http://arxiv.org/abs/2112.09893v1
• Date: Sat, 18 Dec 2021 10:01:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 09:57:43.748293
• Title: Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective
• Title（参考訳）: メモリ効率のよいカーネル近似の再検討:不定値学習の視点から
• Authors: Simon Heilig, Maximilian M\"unch, Frank-Michael Schleif
• Abstract要約: マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix approximations are a key element in large-scale algebraic machine learning approaches. The recently proposed method MEKA (Si et al., 2014) effectively employs two common assumptions in Hilbert spaces: the low-rank property of an inner product matrix obtained from a shift-invariant kernel function and a data compactness hypothesis by means of an inherent block-cluster structure. In this work, we extend MEKA to be applicable not only for shift-invariant kernels but also for non-stationary kernels like polynomial kernels and an extreme learning kernel. We also address in detail how to handle non-positive semi-definite kernel functions within MEKA, either caused by the approximation itself or by the intentional use of general kernel functions. We present a Lanczos-based estimation of a spectrum shift to develop a stable positive semi-definite MEKA approximation, also usable in classical convex optimization frameworks. Furthermore, we support our findings with theoretical considerations and a variety of experiments on synthetic and real-world data.
• Abstract（参考訳）: 行列近似は、大規模代数機械学習における重要な要素である。 最近提案された MEKA (Si et al., 2014) はヒルベルト空間において、シフト不変カーネル関数から得られる内積行列の低ランク性と、固有のブロッククラスタ構造によるデータコンパクト性仮説の2つの一般的な仮定を効果的に採用している。 本研究では,MEKAをシフト不変カーネルだけでなく,多項式カーネルや極端な学習カーネルなどの非定常カーネルにも適用できるように拡張する。 また、meka内の非正の半定値カーネル関数の扱い方についても、近似自身や一般カーネル関数の意図的な使用によるものである。 本稿では,lanczosに基づくスペクトルシフトの推定を行い,古典凸最適化フレームワークで使用可能な安定な正の半定値meka近似を開発する。 さらに、理論的考察と、合成および実世界のデータに関する様々な実験により、本研究の成果を裏付ける。

関連論文リスト

• MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation [5.298814565953444]
  相対的な位置符号化法は、単一のカーネル関数を実装することで、長さ外挿問題に対処する。 本研究では,異なるカーネル関数を結合する重み付き平均を用いた,MEPと呼ばれる新しい相対的位置符号化手法を提案する。 我々は,新しい学習可能なパラメータを必要としないパラメータフリー変種と,最先端技術を統合することのできるパラメータ化変種という,2つの異なる方法を提案する。
  論文  参考訳（メタデータ） (2024-03-26T13:38:06Z)
• On the Approximation of Kernel functions [0.0]
  論文はカーネル自体の近似に対処する。 単位立方体上のヒルベルト・ガウス核に対して、この論文は関連する固有関数の上界を確立する。 この改良により、Nystr"om法のような低階近似法が確かめられる。
  論文  参考訳（メタデータ） (2024-03-11T13:50:07Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Contrastive Learning Can Find An Optimal Basis For Approximately View-Invariant Functions [18.440569330385323]
  本稿では,複数のコントラスト学習手法を,固定正対カーネルを近似した学習カーネル関数として再解釈できることを示す。 このカーネルとPCAを組み合わせることで得られる単純な表現は、線形予測器の最悪の近似誤差を確実に最小化する。
  論文  参考訳（メタデータ） (2022-10-04T20:02:52Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Generalized vec trick for fast learning of pairwise kernel models [3.867363075280544]
  本稿では、オブジェクト間の関係に関する事前知識を組み込むために提案されている、ペアワイズカーネルの包括的なレビューを紹介する。 レビューされたすべてのカーネルがKronecker製品の和として表現できることを示し、一般化されたvecトリックを使用して計算を高速化する。
  論文  参考訳（メタデータ） (2020-09-02T13:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。