論文の概要: Hyperparameter Optimization for Randomized Algorithms: A Case Study for Random Features
- arxiv url: http://arxiv.org/abs/2407.00584v2
- Date: Fri, 19 Jul 2024 23:38:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 00:42:21.557840
- Title: Hyperparameter Optimization for Randomized Algorithms: A Case Study for Random Features
- Title（参考訳）: ランダム化アルゴリズムのハイパーパラメータ最適化:ランダム特徴のケーススタディ
- Authors: Oliver R. A. Dunbar, Nicholas H. Nelsen, Maya Mutic,
- Abstract要約: 本稿では,高次元に適応し,目的関数のランダム性に頑健なランダムな目的関数を提案する。
EKIは、高次元にスケーラブルで、目的関数のランダム性に対して堅牢な勾配のない粒子ベース複雑性である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Randomized algorithms exploit stochasticity to reduce computational complexity. One important example is random feature regression (RFR) that accelerates Gaussian process regression (GPR). RFR approximates an unknown function with a random neural network whose hidden weights and biases are sampled from a probability distribution. Only the final output layer is fit to data. In randomized algorithms like RFR, the hyperparameters that characterize the sampling distribution greatly impact performance, yet are not directly accessible from samples. This makes optimization of hyperparameters via standard (gradient-based) optimization tools inapplicable. Inspired by Bayesian ideas from GPR, this paper introduces a random objective function that is tailored for hyperparameter tuning of vector-valued random features. The objective is minimized with ensemble Kalman inversion (EKI). EKI is a gradient-free particle-based optimizer that is scalable to high-dimensions and robust to randomness in objective functions. A numerical study showcases the new black-box methodology to learn hyperparameter distributions in several problems that are sensitive to the hyperparameter selection: two global sensitivity analyses, integrating a chaotic dynamical system, and solving a Bayesian inverse problem from atmospheric dynamics. The success of the proposed EKI-based algorithm for RFR suggests its potential for automated optimization of hyperparameters arising in other randomized algorithms.
- Abstract（参考訳）: ランダム化アルゴリズムは計算複雑性を減らすために確率性を利用する。
1つの重要な例は、ガウス過程回帰(GPR)を加速するランダム特徴回帰(RFR)である。
RFRは、確率分布から隠れた重みとバイアスをサンプリングするランダムニューラルネットワークと未知の関数を近似する。
最終的な出力層だけがデータに適合する。
RFRのようなランダム化アルゴリズムでは、サンプリング分布を特徴付けるハイパーパラメータは性能に大きな影響を及ぼすが、サンプルから直接はアクセスできない。
これにより、標準(段階的な)最適化ツールによるハイパーパラメータの最適化が不可能になる。
GPRのベイズ的アイデアに触発されて、ベクトル値のランダムな特徴のハイパーパラメータチューニングに適したランダムな目的関数を導入する。
目的はアンサンブル・カルマン・インバージョン(EKI)で最小化される。
EKIは、高次元にスケーラブルで、目的関数のランダム性に頑健な勾配のない粒子ベース最適化器である。
2つの大域感度分析、カオス力学系の統合、大気圧力学からのベイズ逆問題の解法である。
RFRのためのEKIベースのアルゴリズムの成功は、他のランダム化アルゴリズムで生じるハイパーパラメータの自動最適化の可能性を示している。
関連論文リスト
- Rolling the dice for better deep learning performance: A study of randomness techniques in deep neural networks [4.643954670642798]
本稿では,Deep Neural Networks(DNN)における様々なランダム化手法について検討する。
テクニックは、損失関数にノイズを加える、ランダムな勾配更新をマスキングする、データ拡張と重み一般化の4つのタイプに分類される。
完全な実装とデータセットはGitHubで入手できる。
論文 参考訳（メタデータ） (2024-04-05T10:02:32Z) - Beyond Lengthscales: No-regret Bayesian Optimisation With Unknown
Hyperparameters Of Any Type [21.28080111271296]
HE-GP-UCBは、任意の形の未知のハイパーパラメーターの場合、非回帰特性を享受する最初のアルゴリズムである。
我々の証明アイデアは新しく、ベイズ最適化の他の変種にも容易に拡張できる。
論文 参考訳（メタデータ） (2024-02-02T18:52:16Z) - A randomized algorithm to solve reduced rank operator regression [27.513149895229837]
本稿では,無限次元入力空間と出力空間を含むベクトル値回帰問題に対処するアルゴリズムを提案し,解析する。
このアルゴリズムは低ランクベクトル値関数を最適に学習する手法である低ランク回帰のランダム適応である。
論文 参考訳（メタデータ） (2023-12-28T20:29:59Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-06-22T16:07:02Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - MLE-guided parameter search for task loss minimization in neural
sequence modeling [83.83249536279239]
ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。
本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。
以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
論文 参考訳（メタデータ） (2020-06-04T22:21:22Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳（メタデータ） (2020-06-03T08:53:48Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳（メタデータ） (2020-04-03T15:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。