論文の概要: Adaptation to Misspecified Kernel Regularity in Kernelised Bandits

• arxiv url: http://arxiv.org/abs/2304.13830v1
• Date: Wed, 26 Apr 2023 21:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 15:14:29.558744
• Title: Adaptation to Misspecified Kernel Regularity in Kernelised Bandits
• Title（参考訳）: カーネル化帯域における不特定カーネル規則性への適応
• Authors: Yusha Liu, Aarti Singh
• Abstract要約: 翻訳不変核の正則性に対する適応性について検討する。 規則性が異なる一対のRKHSにおいて、最適な累積後悔を同時に達成することは不可能である。 連続武器付き帯域における適応性の統計的困難さを3つの基本型関数空間で結合する。
• 参考スコア（独自算出の注目度）: 27.912690223941386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In continuum-armed bandit problems where the underlying function resides in a reproducing kernel Hilbert space (RKHS), namely, the kernelised bandit problems, an important open problem remains of how well learning algorithms can adapt if the regularity of the associated kernel function is unknown. In this work, we study adaptivity to the regularity of translation-invariant kernels, which is characterized by the decay rate of the Fourier transformation of the kernel, in the bandit setting. We derive an adaptivity lower bound, proving that it is impossible to simultaneously achieve optimal cumulative regret in a pair of RKHSs with different regularities. To verify the tightness of this lower bound, we show that an existing bandit model selection algorithm applied with minimax non-adaptive kernelised bandit algorithms matches the lower bound in dependence of $T$, the total number of steps, except for log factors. By filling in the regret bounds for adaptivity between RKHSs, we connect the statistical difficulty for adaptivity in continuum-armed bandits in three fundamental types of function spaces: RKHS, Sobolev space, and H\"older space.
• Abstract（参考訳）: 基礎関数が再生核ヒルベルト空間(rkhs)、すなわちカーネル化バンディット問題に存在する連続体武装バンディット問題において、関連する核関数の正則性が未知である場合、学習アルゴリズムがいかにうまく適応できるかという重要なオープン問題は残っている。 本研究では, フーリエ変換の崩壊速度をバンディット設定において特徴とする, 変換不変核の正則性に対する適応性について検討する。 我々は適応性の低い境界を導出し、正則性が異なる一対のRKHSにおいて最適な累積後悔を同時に達成することは不可能であることを証明した。 この下限の厳密性を検証するために,最小値の非適応型カーネル化バンディットアルゴリズムを適用した既存のバンディットモデル選択アルゴリズムが,ログファクタ以外のステップ数である$T$の依存度で下限と一致することを示す。 RKHS 間の適応性に対する後悔の限界を埋めることにより、RKHS 、ソボレフ空間、および H\ 古い空間の3つの基本型の函数空間における連続体アーマーバンドの適応性の統計的困難さを補う。

関連論文リスト

• Lower Bounds for Time-Varying Kernelized Bandits [43.62161925881489]
  ノイズの多い観測によるブラックボックス関数の最適化は、広く応用される基本的な問題である。 特定のアプリケーションに不可欠な非定常シナリオについて検討するが、現時点では十分に理解されていない。 $ell_infty$-norm変異の下では、我々の境界は最先端の上限に近いことが分かる。
  論文  参考訳（メタデータ） (2024-10-22T04:45:47Z)
• Error Bounds For Gaussian Process Regression Under Bounded Support Noise With Applications To Safety Certification [12.813902876908127]
  本稿では,ガウス過程回帰(GPR)を有界支持雑音下で適用するための新しい誤差境界を提案する。 これらのエラーは、既存の最先端境界よりもかなり強く、特にニューラルネットワークカーネルのGPRに適していることを示す。 これらの境界を障壁関数と組み合わせて、未知の力学系の安全性確率を定量化する方法について説明する。
  論文  参考訳（メタデータ） (2024-08-16T22:03:32Z)
• An Optimization-based Algorithm for Non-stationary Kernel Bandits without Prior Knowledge [23.890686553141798]
  本研究では,非定常性の度合いの事前知識を必要としない非定常カーネル帯域幅のアルゴリズムを提案する。 我々のアルゴリズムは、非定常カーネル帯域設定に関する以前の研究よりも、より厳密な動的後悔を享受する。
  論文  参考訳（メタデータ） (2022-05-29T21:32:53Z)
• On Kernelized Multi-Armed Bandits with Constraints [16.102401271318012]
  一般に未知の報酬関数と一般未知の制約関数を併用した帯域幅問題について検討する。 本稿では,アルゴリズムの性能解析のための一般的なフレームワークを提案する。 本稿では,数値実験により提案アルゴリズムの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T14:02:03Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Open Problem: Tight Online Confidence Intervals for RKHS Elements [57.363123214464764]
  我々は、RKHS設定におけるオンライン信頼区間の質問を形式化し、既存の結果を概観する。 準最適後悔境界がこれらのアルゴリズムの根本的な欠点なのか、あるいは証明の成果物なのかは定かではない。
  論文  参考訳（メタデータ） (2021-10-28T22:36:20Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• No-Regret Algorithms for Time-Varying Bayesian Optimization [0.0]
  我々は,時間変動環境を捉えるために,一般変動予算モデルを採用する。 R-GP-UCBとSW-GP-UCBの2つのGP-UCB型アルゴリズムを紹介します。 この結果は,線形カーネルを用いた場合の先行線形バンディット結果を回復するだけでなく,時間変動ガウス過程バンディットの先行後悔解析を補完するものである。
  論文  参考訳（メタデータ） (2021-02-11T22:35:32Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)
• Corruption-Tolerant Gaussian Process Bandit Optimization [130.60115798580136]
  未知(典型的には非生成)関数を有界ノルムで最適化する問題を考察する。 我々は「高速だが非ローバスト」と「スロー」に基づく高速スローGP-UCBに基づくアルゴリズムを提案する。 ある種の依存関係は、汚職レベルによっては要求できない、と我々は主張する。
  論文  参考訳（メタデータ） (2020-03-04T09:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。