論文の概要: Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel

• arxiv url: http://arxiv.org/abs/2309.08201v2
• Date: Tue, 26 Dec 2023 17:35:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-28 01:33:40.638911
• Title: Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel
• Title（参考訳）: 線形多重カーネルを用いたガウス過程の分散学習
• Authors: Richard Cornelius Suwandi, Zhidi Lin, Feng Yin, Zhiguo Wang, Sergios Theodoridis
• Abstract要約: 本稿では,新しいGP線形多重カーネル(LMK)と汎用空間認識型分散学習フレームワークを提案する。 このフレームワークには、複数のエージェント間の協調学習のための乗算器の量子化交互方向法(ADMM)が組み込まれている。 多様なデータセットを用いた実験により,提案手法の予測性能と効率性が向上した。
• 参考スコア（独自算出の注目度）: 22.23550794664218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GPs) stand as crucial tools in machine learning and signal processing, with their effectiveness hinging on kernel design and hyper-parameter optimization. This paper presents a novel GP linear multiple kernel (LMK) and a generic sparsity-aware distributed learning framework to optimize the hyper-parameters. The newly proposed grid spectral mixture (GSM) kernel is tailored for multi-dimensional data, effectively reducing the number of hyper-parameters while maintaining good approximation capabilities. We further demonstrate that the associated hyper-parameter optimization of this kernel yields sparse solutions. To exploit the inherent sparsity property of the solutions, we introduce the Sparse LInear Multiple Kernel Learning (SLIM-KL) framework. The framework incorporates a quantized alternating direction method of multipliers (ADMM) scheme for collaborative learning among multiple agents, where the local optimization problem is solved using a distributed successive convex approximation (DSCA) algorithm. SLIM-KL effectively manages large-scale hyper-parameter optimization for the proposed kernel, simultaneously ensuring data privacy and minimizing communication costs. Theoretical analysis establishes convergence guarantees for the learning framework, while experiments on diverse datasets demonstrate the superior prediction performance and efficiency of our proposed methods.
• Abstract（参考訳）: ガウス過程(GP)は、機械学習と信号処理において重要なツールであり、その効果はカーネル設計とハイパーパラメータ最適化に基づいている。 本稿では,新しいgp線形多重カーネル(lmk)と,超パラメータを最適化するための汎用分散学習フレームワークを提案する。 新たに提案されたグリッドスペクトル混合(GSM)カーネルは多次元データ向けに調整され、近似能力を維持しつつ、ハイパーパラメータの数を効果的に削減する。 さらに、このカーネルのハイパーパラメータ最適化がスパース解をもたらすことを示す。 そこで本研究では,Sparse LInear Multiple Kernel Learning (SLIM-KL) フレームワークを提案する。 このフレームワークは、複数のエージェント間の協調学習のための乗算器(ADMM)スキームの量子交互方向法を取り入れ、分散逐次凸近似(DSCA)アルゴリズムを用いて局所最適化問題を解く。 SLIM-KLは提案したカーネルの大規模ハイパーパラメータ最適化を効果的に管理し、同時にデータのプライバシの確保と通信コストの最小化を行う。 理論解析は学習フレームワークの収束保証を確立し,多様なデータセットを用いた実験は提案手法の優れた予測性能と効率を示す。

関連論文リスト

• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
  ハイパーバンドベースの機械学習アプローチが最も効果的である。 私たちは出席します。 新人 Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。 ハイパーパラメータの構成に予算を割り当てます POCAは、両方の設定で強い設定を高速に見つける。
  論文  参考訳（メタデータ） (2023-12-29T00:13:55Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Supervising the Multi-Fidelity Race of Hyperparameter Configurations [22.408069485293666]
  我々はベイズ最適化手法であるDyHPOを導入し、どのハイパーパラメータ構成を、実現可能な構成のレースでさらに訓練するかを学習する。 大規模実験による最先端ハイパーパラメータ最適化手法に対するDyHPOの顕著な優位性を示す。
  論文  参考訳（メタデータ） (2022-02-20T10:28:02Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization [0.19116784879310028]
  計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。 複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。 Augmented Gaussian Process に従って新しい取得関数が定義される。
  論文  参考訳（メタデータ） (2020-06-25T08:04:48Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。