論文の概要: Distributional encoding for Gaussian process regression with qualitative inputs

• arxiv url: http://arxiv.org/abs/2506.04813v1
• Date: Thu, 05 Jun 2025 09:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.635963
• Title: Distributional encoding for Gaussian process regression with qualitative inputs
• Title（参考訳）: 定性入力によるガウス過程回帰の分布符号化
• Authors: Sébastien Da Veiga,
• Abstract要約: 本稿では,分布符号化(DE)に基づく一般化が,対象変数のすべてのサンプルをカテゴリとして利用することを示す。 提案手法は実験的に検証され,様々な合成および実世界のデータセットに対して最先端の予測性能を示す。
• 参考スコア（独自算出の注目度）: 0.7342677574855652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian Process (GP) regression is a popular and sample-efficient approach for many engineering applications, where observations are expensive to acquire, and is also a central ingredient of Bayesian optimization (BO), a highly prevailing method for the optimization of black-box functions. However, when all or some input variables are categorical, building a predictive and computationally efficient GP remains challenging. Starting from the naive target encoding idea, where the original categorical values are replaced with the mean of the target variable for that category, we propose a generalization based on distributional encoding (DE) which makes use of all samples of the target variable for a category. To handle this type of encoding inside the GP, we build upon recent results on characteristic kernels for probability distributions, based on the maximum mean discrepancy and the Wasserstein distance. We also discuss several extensions for classification, multi-task learning and incorporation or auxiliary information. Our approach is validated empirically, and we demonstrate state-of-the-art predictive performance on a variety of synthetic and real-world datasets. DE is naturally complementary to recent advances in BO over discrete and mixed-spaces.
• Abstract（参考訳）: ガウス過程 (GP) レグレッションは、観測が高価であり、ブラックボックス関数の最適化方法であるベイズ最適化 (BO) の中心的要素でもある多くの工学的応用において、一般的でサンプル効率のよいアプローチである。 しかしながら、全てのまたはいくつかの入力変数がカテゴリ的である場合、予測的かつ計算的に効率的なGPを構築することは依然として困難である。 そこで本研究では,対象変数のすべてのサンプルをカテゴリとして用いた分布符号化(DE)に基づく一般化を提案する。 このタイプの符号化をGP内部で処理するために, 最大平均誤差とワッサーシュタイン距離に基づいて, 確率分布の特徴的カーネルを用いた最近の結果を構築した。 また,分類,マルチタスク学習,定型化,補助情報の拡張についても論じる。 提案手法は実験的に検証され,様々な合成および実世界のデータセットに対して最先端の予測性能を示す。 DEは、離散空間と混合空間に対するBOの最近の進歩と自然に相補的である。

関連論文リスト

• Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling [14.358070928996069]
  ガウス過程 (GP) 変分オートエンコーダ (VAEs) は、完全に分解されたガウス前処理をGP前処理に置き換えることで標準のVAEを拡張する。 大規模GPVAEにおける正確なGP推論の実行は、計算的に禁止されており、しばしば既存のアプローチは制限的なカーネルの仮定に頼らざるを得ない。 本稿では,拡張性のあるGPVAE推論を実現するために,潜在空間における局所的隣接性を利用する近似手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:07:33Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Optimal Kernel Learning for Gaussian Process Models with High-Dimensional Input [0.0]
  一部のシミュレーションモデルでは、出力は入力変数の小さな部分集合(能動変数と呼ばれる)によってのみ大きく影響される。 そこで本研究では,これらの能動変数を同定し,GPモデルの限界を克服し,システム理解を向上させるためのカーネル学習手法を提案する。
  論文  参考訳（メタデータ） (2025-02-23T15:39:59Z)
• Tighter sparse variational Gaussian processes [22.290236192353316]
  Sparse variational Gaussian process (GP) 近似は、GPを大規模データセットにスケーリングするデファクトスタンダードとなっている。 本稿では、誘導点に与えられた条件的近似後続が前と一致しなければならないという標準仮定を緩和することにより、より厳密な変分近似を導入する。
  論文  参考訳（メタデータ） (2025-02-07T08:33:28Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。