論文の概要: Gaussian Processes with Linear Multiple Kernel: Spectrum Design and
Distributed Learning for Multi-Dimensional Data
- arxiv url: http://arxiv.org/abs/2309.08201v1
- Date: Fri, 15 Sep 2023 07:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 15:31:49.134312
- Title: Gaussian Processes with Linear Multiple Kernel: Spectrum Design and
Distributed Learning for Multi-Dimensional Data
- Title（参考訳）: 線形多重カーネルを用いたガウス過程:スペクトル設計と多次元データの分散学習
- Authors: Richard Cornelius Suwandi, Zhidi Lin, Feng Yin
- Abstract要約: 本稿では、任意の定常カーネルを近似可能なLMKであるグリッドスペクトル混合(GSM)カーネルに焦点を当てる。
本稿では,多次元データに対する新しいGSMカーネルの定式化を提案し,ハイパーパラメータの数を削減した。
また、分散SCA(D$2$SCA)アルゴリズムを導入し、ビッグデータの文脈でGSMカーネルを協調的に学習できるようにします。
- 参考スコア（独自算出の注目度）: 7.122497898332865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes (GPs) have emerged as a prominent technique for machine
learning and signal processing. A key component in GP modeling is the choice of
kernel, and linear multiple kernels (LMKs) have become an attractive kernel
class due to their powerful modeling capacity and interpretability. This paper
focuses on the grid spectral mixture (GSM) kernel, an LMK that can approximate
arbitrary stationary kernels. Specifically, we propose a novel GSM kernel
formulation for multi-dimensional data that reduces the number of
hyper-parameters compared to existing formulations, while also retaining a
favorable optimization structure and approximation capability. In addition, to
make the large-scale hyper-parameter optimization in the GSM kernel tractable,
we first introduce the distributed SCA (DSCA) algorithm. Building on this, we
propose the doubly distributed SCA (D$^2$SCA) algorithm based on the
alternating direction method of multipliers (ADMM) framework, which allows us
to cooperatively learn the GSM kernel in the context of big data while
maintaining data privacy. Furthermore, we tackle the inherent communication
bandwidth restriction in distributed frameworks, by quantizing the
hyper-parameters in D$^2$SCA, resulting in the quantized doubly distributed SCA
(QD$^2$SCA) algorithm. Theoretical analysis establishes convergence guarantees
for the proposed algorithms, while experiments on diverse datasets demonstrate
the superior prediction performance and efficiency of our methods.
- Abstract（参考訳）: ガウス過程(GP)は、機械学習と信号処理の顕著な技術として登場した。
GPモデリングにおける重要な要素はカーネルの選択であり、線形多重カーネル(LMK)はその強力なモデリング能力と解釈可能性のために魅力的なカーネルクラスになっている。
本稿では、任意の定常カーネルを近似可能なLMKであるグリッドスペクトル混合(GSM)カーネルに焦点を当てる。
具体的には,多次元データに対する新しいgsmカーネル定式化法を提案し,既存の定式化に比べてハイパーパラメータ数を減少させるとともに,最適化構造と近似能力も保持する。
さらに,GSMカーネルにおける大規模ハイパーパラメータ最適化を実現するために,まず分散SCA(DSCA)アルゴリズムを導入する。
そこで我々は,データプライバシを維持しながら,ビッグデータのコンテキストにおいてGSMカーネルを協調的に学習することのできる,乗算器(ADMM)フレームワークの交互方向法に基づく2倍分散SCA(D$^2$SCA)アルゴリズムを提案する。
さらに,D$^2$SCAのハイパーパラメータを定量化することにより,分散フレームワークにおける通信帯域幅制限に対処し,量子化された2倍分散SCA(QD$^2$SCA)アルゴリズムを実現する。
理論的解析により,提案アルゴリズムの収束保証が確立され,多様なデータセットを用いた実験により,提案手法の予測性能と効率が向上した。
関連論文リスト
- Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。
我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
論文 参考訳（メタデータ） (2024-10-22T10:56:52Z) - Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳（メタデータ） (2023-12-29T00:13:55Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Supervising the Multi-Fidelity Race of Hyperparameter Configurations [22.408069485293666]
我々はベイズ最適化手法であるDyHPOを導入し、どのハイパーパラメータ構成を、実現可能な構成のレースでさらに訓練するかを学習する。
大規模実験による最先端ハイパーパラメータ最適化手法に対するDyHPOの顕著な優位性を示す。
論文 参考訳（メタデータ） (2022-02-20T10:28:02Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Green Machine Learning via Augmented Gaussian Processes and
Multi-Information Source Optimization [0.19116784879310028]
計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。
複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。
Augmented Gaussian Process に従って新しい取得関数が定義される。
論文 参考訳（メタデータ） (2020-06-25T08:04:48Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。