論文の概要: Kernel Identification Through Transformers

• arxiv url: http://arxiv.org/abs/2106.08185v1
• Date: Tue, 15 Jun 2021 14:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:27:28.039278
• Title: Kernel Identification Through Transformers
• Title（参考訳）: トランスフォーマによるカーネル識別
• Authors: Fergus Simpson, Ian Davies, Vidhi Lalchand, Alessandro Vullo, Nicolas Durrande, Carl Rasmussen
• Abstract要約: カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
• 参考スコア（独自算出の注目度）: 54.3795894579111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel selection plays a central role in determining the performance of Gaussian Process (GP) models, as the chosen kernel determines both the inductive biases and prior support of functions under the GP prior. This work addresses the challenge of constructing custom kernel functions for high-dimensional GP regression models. Drawing inspiration from recent progress in deep learning, we introduce a novel approach named KITT: Kernel Identification Through Transformers. KITT exploits a transformer-based architecture to generate kernel recommendations in under 0.1 seconds, which is several orders of magnitude faster than conventional kernel search algorithms. We train our model using synthetic data generated from priors over a vocabulary of known kernels. By exploiting the nature of the self-attention mechanism, KITT is able to process datasets with inputs of arbitrary dimension. We demonstrate that kernels chosen by KITT yield strong performance over a diverse collection of regression benchmarks.
• Abstract（参考訳）: 核選択はガウス過程(gp)モデルの性能を決定する上で中心的な役割を担っており、選択された核はインダクティブバイアスとgpプリミティブの下での関数の事前サポートの両方を決定する。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 ディープラーニングの最近の進歩からインスピレーションを得て、kitt: kernel identification through transformersという新しいアプローチを紹介します。 KITTはトランスフォーマーベースのアーキテクチャを用いて0.1秒未満でカーネルレコメンデーションを生成する。 我々は、既知のカーネルの語彙上で事前から生成された合成データを用いてモデルを訓練する。 KITTは自己認識機構の性質を活用することで、任意の次元の入力でデータセットを処理できる。 KITTによって選択されたカーネルは、様々な回帰ベンチマークのコレクションよりも高い性能を示す。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines [12.11705128358537]
  スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。 性能向上につながる要因であることを示す。 また,スペクトルトランケーションカーネルの表現能力を高めるための深層学習の視点も提案する。
  論文  参考訳（メタデータ） (2024-05-28T04:47:12Z)
• Kernel-U-Net: Multivariate Time Series Forecasting using Custom Kernels [1.8816077341295625]
  Kernel-U-Netは、柔軟でカーネルにカスタマイズ可能なU字型ニューラルネットワークアーキテクチャである。 具体的には、カーネル-U-Netは入力時系列をカーネル操作からパッチに分割する手順を分離する。 1)特定のデータセットに適応するためのカーネルのカスタマイズの柔軟性、2)トランスフォーマー層の複雑さを線形に減らした計算効率の向上、である。
  論文  参考訳（メタデータ） (2024-01-03T00:49:51Z)
• Structural Kernel Search via Bayesian Optimization and Symbolical Optimal Transport [5.1672267755831705]
  ガウスのプロセスでは、カーネルの選択は重要なタスクであり、しばしば専門家が手動で行う。 本稿では,カーネル空間を包含する新しい効率的な探索法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T09:30:21Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• S-Rocket: Selective Random Convolution Kernels for Time Series Classification [36.9596657353794]
  ランダム畳み込みカーネル変換(Rocket)は、時系列特徴抽出のための高速で効率的で斬新なアプローチである。 計算複雑性を減らし、Rocketの推論を加速するためには、最も重要なカーネルを選択し、冗長で重要でないカーネルを刈り取る必要がある。 最重要なカーネルを選択するために、集団ベースのアプローチが提案されている。
  論文  参考訳（メタデータ） (2022-03-07T15:02:12Z)
• Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
  他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。 スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。 我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
  論文  参考訳（メタデータ） (2021-08-21T02:14:55Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
  2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。 私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
  論文  参考訳（メタデータ） (2020-02-21T03:54:23Z)
• PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives [55.79741270235602]
  深層学習カーネル開発のためのハイブリッドソリューションを開発する。 我々は、高度な多面体技術を用いて、パフォーマンスのために外部ループを自動的に調整する。
  論文  参考訳（メタデータ） (2020-02-06T08:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。