論文の概要: An Exact Finite-dimensional Explicit Feature Map for Kernel Functions

• arxiv url: http://arxiv.org/abs/2410.12635v1
• Date: Wed, 16 Oct 2024 14:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:35.777999
• Title: An Exact Finite-dimensional Explicit Feature Map for Kernel Functions
• Title（参考訳）: カーネル関数のための厳密な有限次元明示的特徴写像
• Authors: Kamaledin Ghiasi-Shirazi, Mohammadreza Qaraei,
• Abstract要約: 機械学習におけるカーネルメソッドは、2つのデータポイントを入力として取り、ヒルベルト空間にマッピングした後、実際にマッピングを計算せずに内部製品を返すカーネル関数を使用する。 本稿では任意のカーネル関数が与えられた場合、任意のカーネル関数に対して明示的で有限次元な特徴写像を導入する。 この明示的な写像の存在により、カーネルのトリックや双対表現を必要とせずに、カーネル化されたアルゴリズムを原始形式で定式化することができる。
• 参考スコア（独自算出の注目度）: 0.1227734309612871
• License:
• Abstract: Kernel methods in machine learning use a kernel function that takes two data points as input and returns their inner product after mapping them to a Hilbert space, implicitly and without actually computing the mapping. For many kernel functions, such as Gaussian and Laplacian kernels, the feature space is known to be infinite-dimensional, making operations in this space possible only implicitly. This implicit nature necessitates algorithms to be expressed using dual representations and the kernel trick. In this paper, given an arbitrary kernel function, we introduce an explicit, finite-dimensional feature map for any arbitrary kernel function that ensures the inner product of data points in the feature space equals the kernel function value, during both training and testing. The existence of this explicit mapping allows for kernelized algorithms to be formulated in their primal form, without the need for the kernel trick or the dual representation. As a first application, we demonstrate how to derive kernelized machine learning algorithms directly, without resorting to the dual representation, and apply this method specifically to PCA. As another application, without any changes to the t-SNE algorithm and its implementation, we use it for visualizing the feature space of kernel functions.
• Abstract（参考訳）: 機械学習におけるカーネルメソッドは、2つのデータポイントを入力として取り、ヒルベルト空間にマッピングした後、実際にマッピングを計算せずに内部製品を返すカーネル関数を使用する。 ガウス核やラプラシア核のような多くのカーネル函数に対して、特徴空間は無限次元であることが知られており、この空間での演算は暗黙的にのみ可能である。 この暗黙的な性質は、アルゴリズムを二重表現とカーネルトリックを使って表現する必要がある。 本稿では、任意のカーネル関数が与えられた場合、任意のカーネル関数に対して、任意のカーネル関数に対して明示的な有限次元の特徴写像を導入し、特徴空間におけるデータポイントの内部積が、トレーニングとテストの両方においてカーネル関数値と等しいことを保証します。 この明示的な写像の存在により、カーネルのトリックや双対表現を必要とせずに、カーネル化されたアルゴリズムを原始形式で定式化することができる。 最初のアプリケーションとして、デュアル表現に頼ることなく、カーネル化された機械学習アルゴリズムを直接導出する方法を示し、この手法を特にPCAに適用する。 別のアプリケーションとして、t-SNEアルゴリズムとその実装を変更することなく、カーネル関数の機能空間を可視化する。

関連論文リスト

• Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines [12.11705128358537]
  スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。 性能向上につながる要因であることを示す。 また,スペクトルトランケーションカーネルの表現能力を高めるための深層学習の視点も提案する。
  論文  参考訳（メタデータ） (2024-05-28T04:47:12Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Fast Kernel Summation in High Dimensions via Slicing and Fourier Transforms [0.0]
  カーネルベースの手法は機械学習で多用されている。 彼らは考慮されたデータポイントの$O(N2)$複雑さに悩まされる。 近似法を提案し、この複雑さを$O(N)$に削減する。
  論文  参考訳（メタデータ） (2024-01-16T10:31:27Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Neural Networks can Learn Representations with Gradient Descent [68.95262816363288]
  特定の状況下では、勾配降下によって訓練されたニューラルネットワークは、カーネルメソッドのように振る舞う。 実際には、ニューラルネットワークが関連するカーネルを強く上回ることが知られている。
  論文  参考訳（メタデータ） (2022-06-30T09:24:02Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• Understanding of Kernels in CNN Models by Suppressing Irrelevant Visual Features in Images [55.60727570036073]
  畳み込みニューラルネットワーク(CNN)におけるカーネルの正確な解釈の欠如は、実際のシナリオにおけるディープラーニングモデルの広範な応用に対する大きな障害である。 CNNモデルにおける任意のカーネルの活性化を解釈するために、単純で効果的な最適化法を提案する。
  論文  参考訳（メタデータ） (2021-08-25T05:48:44Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nystr\"om Method, and Use of Kernels in Machine Learning: Tutorial and Survey [5.967999555890417]
  まず、機能分析と機械学習におけるカーネルの歴史のレビューから始めます。 本稿では,カーネル手法,半確定プログラミングによるカーネル学習,Hilbert-Schmidt独立性基準,最大平均誤差,カーネル平均埋め込み,カーネル次元削減など,機械学習におけるカーネルの利用方法を紹介する。 本論文は, 機械学習, 次元減少, 数学の関数解析, 量子力学の数学物理学など, 様々な科学分野に有用である。
  論文  参考訳（メタデータ） (2021-06-15T21:29:12Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Isolation Distributional Kernel: A New Tool for Point & Group Anomaly Detection [76.1522587605852]
  分離分散カーネル(IDK)は2つの分布の類似性を測定する新しい方法である。 我々は、カーネルベースの異常検出のための新しいツールとして、IDKの有効性と効率を示す。
  論文  参考訳（メタデータ） (2020-09-24T12:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。