論文の概要: Gaussian Processes with Linear Multiple Kernel: Spectrum Design and
Distributed Learning for Multi-Dimensional Data
- arxiv url: http://arxiv.org/abs/2309.08201v1
- Date: Fri, 15 Sep 2023 07:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 15:31:49.134312
- Title: Gaussian Processes with Linear Multiple Kernel: Spectrum Design and
Distributed Learning for Multi-Dimensional Data
- Title（参考訳）: 線形多重カーネルを用いたガウス過程:スペクトル設計と多次元データの分散学習
- Authors: Richard Cornelius Suwandi, Zhidi Lin, Feng Yin
- Abstract要約: 本稿では、任意の定常カーネルを近似可能なLMKであるグリッドスペクトル混合(GSM)カーネルに焦点を当てる。
本稿では,多次元データに対する新しいGSMカーネルの定式化を提案し,ハイパーパラメータの数を削減した。
また、分散SCA(D$2$SCA)アルゴリズムを導入し、ビッグデータの文脈でGSMカーネルを協調的に学習できるようにします。
- 参考スコア（独自算出の注目度）: 7.122497898332865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes (GPs) have emerged as a prominent technique for machine
learning and signal processing. A key component in GP modeling is the choice of
kernel, and linear multiple kernels (LMKs) have become an attractive kernel
class due to their powerful modeling capacity and interpretability. This paper
focuses on the grid spectral mixture (GSM) kernel, an LMK that can approximate
arbitrary stationary kernels. Specifically, we propose a novel GSM kernel
formulation for multi-dimensional data that reduces the number of
hyper-parameters compared to existing formulations, while also retaining a
favorable optimization structure and approximation capability. In addition, to
make the large-scale hyper-parameter optimization in the GSM kernel tractable,
we first introduce the distributed SCA (DSCA) algorithm. Building on this, we
propose the doubly distributed SCA (D$^2$SCA) algorithm based on the
alternating direction method of multipliers (ADMM) framework, which allows us
to cooperatively learn the GSM kernel in the context of big data while
maintaining data privacy. Furthermore, we tackle the inherent communication
bandwidth restriction in distributed frameworks, by quantizing the
hyper-parameters in D$^2$SCA, resulting in the quantized doubly distributed SCA
(QD$^2$SCA) algorithm. Theoretical analysis establishes convergence guarantees
for the proposed algorithms, while experiments on diverse datasets demonstrate
the superior prediction performance and efficiency of our methods.
- Abstract（参考訳）: ガウス過程(GP)は、機械学習と信号処理の顕著な技術として登場した。
GPモデリングにおける重要な要素はカーネルの選択であり、線形多重カーネル(LMK)はその強力なモデリング能力と解釈可能性のために魅力的なカーネルクラスになっている。
本稿では、任意の定常カーネルを近似可能なLMKであるグリッドスペクトル混合(GSM)カーネルに焦点を当てる。
具体的には,多次元データに対する新しいgsmカーネル定式化法を提案し,既存の定式化に比べてハイパーパラメータ数を減少させるとともに,最適化構造と近似能力も保持する。
さらに,GSMカーネルにおける大規模ハイパーパラメータ最適化を実現するために,まず分散SCA(DSCA)アルゴリズムを導入する。
そこで我々は,データプライバシを維持しながら,ビッグデータのコンテキストにおいてGSMカーネルを協調的に学習することのできる,乗算器(ADMM)フレームワークの交互方向法に基づく2倍分散SCA(D$^2$SCA)アルゴリズムを提案する。
さらに,D$^2$SCAのハイパーパラメータを定量化することにより,分散フレームワークにおける通信帯域幅制限に対処し,量子化された2倍分散SCA(QD$^2$SCA)アルゴリズムを実現する。
理論的解析により,提案アルゴリズムの収束保証が確立され,多様なデータセットを用いた実験により,提案手法の予測性能と効率が向上した。
関連論文リスト
- Bayesian Optimization for Simultaneous Selection of Machine Learning Algorithms and Hyperparameters on Shared Latent Space [16.257223975129513]
機械学習(ML)アルゴリズムとそのハイパーパラメータは、高性能なMLシステムの開発に不可欠である。
多くの既存研究では、探索を加速するためにベイズ最適化(BO)を使用している。
提案手法は,BOの代用マルチタスクモデルを推定し,異なるハイパーパラメータ空間を共有潜在空間に埋め込む。
このアプローチは、より少ない総観測数で効率的な最適化が期待できる、異なるMLアルゴリズムからの観測情報を共有することができる。
論文 参考訳（メタデータ） (2025-02-13T13:43:52Z) - Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。
勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。
本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-26T19:49:16Z) - Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。
我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
論文 参考訳（メタデータ） (2024-10-22T10:56:52Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Green Machine Learning via Augmented Gaussian Processes and
Multi-Information Source Optimization [0.19116784879310028]
計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。
複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。
Augmented Gaussian Process に従って新しい取得関数が定義される。
論文 参考訳（メタデータ） (2020-06-25T08:04:48Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。