論文の概要: Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels

• arxiv url: http://arxiv.org/abs/2306.09819v1
• Date: Fri, 16 Jun 2023 13:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 13:50:38.204443
• Title: Amortized Inference for Gaussian Process Hyperparameters of Structured Kernels
• Title（参考訳）: 構造カーネルのガウス過程ハイパーパラメータの補正推論
• Authors: Matthias Bitzer, Mona Meister, Christoph Zimmer
• Abstract要約: 異なるデータセットに対するパラメータ推論の補正は、トレーニング時間を劇的に高速化するための有望なアプローチである。 本稿では,固定化されたカーネル構造ではなく,完全なカーネル構造ファミリ上でのカーネルパラメータのアモータイズを提案する。 大規模なカーネルとデータセットの競合テスト性能と合わせて,推論時間を大幅に短縮することを示す。
• 参考スコア（独自算出の注目度）: 5.1672267755831705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning the kernel parameters for Gaussian processes is often the computational bottleneck in applications such as online learning, Bayesian optimization, or active learning. Amortizing parameter inference over different datasets is a promising approach to dramatically speed up training time. However, existing methods restrict the amortized inference procedure to a fixed kernel structure. The amortization network must be redesigned manually and trained again in case a different kernel is employed, which leads to a large overhead in design time and training time. We propose amortizing kernel parameter inference over a complete kernel-structure-family rather than a fixed kernel structure. We do that via defining an amortization network over pairs of datasets and kernel structures. This enables fast kernel inference for each element in the kernel family without retraining the amortization network. As a by-product, our amortization network is able to do fast ensembling over kernel structures. In our experiments, we show drastically reduced inference time combined with competitive test performance for a large set of kernels and datasets.
• Abstract（参考訳）: ガウス過程のカーネルパラメータの学習は、オンライン学習、ベイズ最適化、アクティブラーニングなどのアプリケーションにおける計算ボトルネックとなることが多い。 異なるデータセットに対するパラメータ推論の補正は、トレーニング時間を劇的に高速化するための有望なアプローチである。 しかし、既存の手法では固定されたカーネル構造に償却推論手順を制限している。 償却ネットワークは、異なるカーネルが採用されている場合、手動で再設計され、再訓練されなければならず、設計時間とトレーニング時間に大きなオーバーヘッドがかかる。 本稿では,固定されたカーネル構造ではなく,完全なカーネル構造ファミリー上でのカーネルパラメータ推定を提案する。 私たちは、データセットとカーネル構造をペアでアモータイズするネットワークを定義します。 これにより、amortizationネットワークを再トレーニングすることなく、カーネルファミリの各要素に対する高速なカーネル推論が可能になる。 副産物として、我々のアモータイズネットワークはカーネル構造上の高速なアンサンブルを行うことができる。 実験では,大規模なカーネルとデータセットの競合テスト性能と合わせて,推論時間を大幅に短縮した。

関連論文リスト

• Reconstructing Kernel-based Machine Learning Force Fields with Super-linear Convergence [0.18416014644193063]
  我々は、プレコンディショナーを構築するためのNystr"om-typeメソッドの幅広いクラスについて考察する。 検討されたすべての方法は、支配的なカーネルスペクトルを近似するために、インジェクション(カーネル)列の代表的なサブセットを特定することを目的としている。
  論文  参考訳（メタデータ） (2022-12-24T13:45:50Z)
• Lifelong Bandit Optimization: No Prior and No Regret [70.94238868711952]
  我々は,過去の経験から学習することで環境に適応するアルゴリズムであるLIBOを開発した。 カーネルが未知だが、すべてのタスク間で共有されるカーネル構造を仮定する。 我々のアルゴリズムは、任意のカーネル化または線形バンディットアルゴリズムと組み合わせて、最適な性能を保証できる。
  論文  参考訳（メタデータ） (2022-10-27T14:48:49Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Generative Kernel Continual learning [117.79080100313722]
  本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。 生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。 コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-12-26T16:02:10Z)
• Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
  遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。 これは、サイレントアライメント(サイレントアライメント)という現象のためである。 また、非白データは無声アライメント効果を弱めることを示した。
  論文  参考訳（メタデータ） (2021-10-29T18:22:46Z)
• FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes [34.90912459206022]
  最近の研究によると、CNNは異なるレイヤの異なるカーネルサイズから恩恵を受けているが、実際にはすべての可能な組み合わせを探索することは不可能である。 本稿では,学習可能なカーネルサイズの高い帯域幅の畳み込みカーネルを固定パラメータコストで学習可能な新しい畳み込み演算FlexConvを提案する。
  論文  参考訳（メタデータ） (2021-10-15T12:35:49Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
  本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。 本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
  論文  参考訳（メタデータ） (2020-12-21T13:41:15Z)
• End-to-end Kernel Learning via Generative Random Fourier Features [31.57596752889935]
  ランダムフーリエ機能(RFF)は、スペクトルケースでのカーネル学習に有望な方法を提供する。 本稿では,カーネル学習と線形学習を統一フレームワークに組み込む一段階プロセスについて考察する。
  論文  参考訳（メタデータ） (2020-09-10T00:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。