論文の概要: Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel

• arxiv url: http://arxiv.org/abs/2309.08201v3
• Date: Thu, 16 Jan 2025 12:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 21:49:15.747011
• Title: Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel
• Title（参考訳）: 線形多重カーネルを用いたガウス過程の空間性を考慮した分散学習
• Authors: Richard Cornelius Suwandi, Zhidi Lin, Feng Yin, Zhiguo Wang, Sergios Theodoridis,
• Abstract要約: 本稿では,新しいGP線形多重カーネル (LMK) と,ハイパーパラメータを最適化する汎用空間認識分散学習フレームワークを提案する。 新たに提案されたグリッドスペクトル混合製品(GSMP)カーネルは,多次元データ用に調整されている。 そこで本研究では,Sparse LInear Multiple Kernel Learning (SLIM-KL) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.98449975854329
• License:
• Abstract: Gaussian processes (GPs) stand as crucial tools in machine learning and signal processing, with their effectiveness hinging on kernel design and hyper-parameter optimization. This paper presents a novel GP linear multiple kernel (LMK) and a generic sparsity-aware distributed learning framework to optimize the hyper-parameters. The newly proposed grid spectral mixture product (GSMP) kernel is tailored for multi-dimensional data, effectively reducing the number of hyper-parameters while maintaining good approximation capability. We further demonstrate that the associated hyper-parameter optimization of this kernel yields sparse solutions. To exploit the inherent sparsity of the solutions, we introduce the Sparse LInear Multiple Kernel Learning (SLIM-KL) framework. The framework incorporates a quantized alternating direction method of multipliers (ADMM) scheme for collaborative learning among multiple agents, where the local optimization problem is solved using a distributed successive convex approximation (DSCA) algorithm. SLIM-KL effectively manages large-scale hyper-parameter optimization for the proposed kernel, simultaneously ensuring data privacy and minimizing communication costs. Theoretical analysis establishes convergence guarantees for the learning framework, while experiments on diverse datasets demonstrate the superior prediction performance and efficiency of our proposed methods.
• Abstract（参考訳）: ガウス過程(GP)は、機械学習と信号処理において重要なツールであり、その効果はカーネル設計とハイパーパラメータ最適化に基づいている。 本稿では,新しいGP線形多重カーネル (LMK) と,ハイパーパラメータを最適化するための汎用空間認識型分散学習フレームワークを提案する。 新たに提案した格子スペクトル混合製品 (GSMP) カーネルは多次元データに適合し, 近似性能を維持しつつ, ハイパーパラメータの数を効果的に削減する。 さらに、このカーネルのハイパーパラメータ最適化がスパース解をもたらすことを実証する。 そこで本研究では,Sparse LInear Multiple Kernel Learning (SLIM-KL) フレームワークを提案する。 このフレームワークは、複数のエージェント間の協調学習のための乗算器(ADMM)スキームの量子化交互方向法を取り入れ、分散逐次凸近似(DSCA)アルゴリズムを用いて局所最適化問題を解く。 SLIM-KLは提案したカーネルの大規模ハイパーパラメータ最適化を効果的に管理し、同時にデータのプライバシの確保と通信コストの最小化を行う。 理論的解析により,学習フレームワークの収束保証が確立され,多様なデータセットを用いた実験により,提案手法の予測性能と効率が向上した。

関連論文リスト

• Bayesian Optimization for Simultaneous Selection of Machine Learning Algorithms and Hyperparameters on Shared Latent Space [16.257223975129513]
  機械学習(ML)アルゴリズムとそのハイパーパラメータは、高性能なMLシステムの開発に不可欠である。 多くの既存研究では、探索を加速するためにベイズ最適化(BO)を使用している。 提案手法は,BOの代用マルチタスクモデルを推定し,異なるハイパーパラメータ空間を共有潜在空間に埋め込む。 このアプローチは、より少ない総観測数で効率的な最適化が期待できる、異なるMLアルゴリズムからの観測情報を共有することができる。
  論文  参考訳（メタデータ） (2025-02-13T13:43:52Z)
• Constrained Hybrid Metaheuristic Algorithm for Probabilistic Neural Networks Learning [0.3686808512438362]
  本研究では、確率論的ニューラルネットワーク(PNN)のトレーニングを強化するためのハイブリッドメタヒューリスティックアルゴリズムの可能性について検討する。 勾配に基づくアプローチのような伝統的な学習手法は、しばしば高次元で不確実な環境を最適化するのに苦労する。 本稿では,複数の個体群に基づく最適化手法を組み合わせた制約付きハイブリッドメタヒューリスティック(cHM)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-26T19:49:16Z)
• Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
  本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
  論文  参考訳（メタデータ） (2024-10-22T10:56:52Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization [0.19116784879310028]
  計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。 複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。 Augmented Gaussian Process に従って新しい取得関数が定義される。
  論文  参考訳（メタデータ） (2020-06-25T08:04:48Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。