論文の概要: Regret Bounds for Noise-Free Cascaded Kernelized Bandits
- arxiv url: http://arxiv.org/abs/2211.05430v1
- Date: Thu, 10 Nov 2022 09:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 14:46:27.867474
- Title: Regret Bounds for Noise-Free Cascaded Kernelized Bandits
- Title（参考訳）: ノイズのないカスケード化帯域のレグレト境界
- Authors: Zihan Li, Jonathan Scarlett
- Abstract要約: RKHS関数クラスを用いたノイズフリーグレーボックス設定において,関数ネットワークの最適化を検討する。
本研究では,(1)チェーン:スカラー値関数のカスケード,(2)マルチアウトプットチェーン:ベクトル値関数のカスケード,(3)フィードフォワードネットワーク:完全に接続されたスカラー値関数のフィードフォワードネットワークの3種類の構造について検討する。
- 参考スコア（独自算出の注目度）: 51.45291566743071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider optimizing a function network in the noise-free grey-box setting
with RKHS function classes, where the exact intermediate results are
observable. We assume that the structure of the network is known (but not the
underlying functions comprising it), and we study three types of structures:
(1) chain: a cascade of scalar-valued functions, (2) multi-output chain: a
cascade of vector-valued functions, and (3) feed-forward network: a fully
connected feed-forward network of scalar-valued functions. We propose a
sequential upper confidence bound based algorithm GPN-UCB along with a general
theoretical upper bound on the cumulative regret. For the Mat\'ern kernel, we
additionally propose a non-adaptive sampling based method along with its
theoretical upper bound on the simple regret. We also provide
algorithm-independent lower bounds on the simple regret and cumulative regret,
showing that GPN-UCB is near-optimal for chains and multi-output chains in
broad cases of interest.
- Abstract（参考訳）: RKHS関数クラスを用いたノイズフリーグレーボックス設定における関数ネットワークの最適化について検討する。
ネットワークの構造が知られている(ただし、それを構成する機能ではない)と仮定し、(1)連鎖:スカラー値関数のカスケード、(2)マルチアウトプット連鎖:ベクトル値関数のカスケード、(3)フィードフォワードネットワーク:スカラー値関数の完全接続フィードフォワードネットワークの3種類の構造について検討する。
本稿では, 累積的後悔に対する理論上界と合わせて, 逐次的上限付きアルゴリズム GPN-UCB を提案する。
Mat\'ern カーネルに対しては、単純後悔の理論的上限とともに非適応サンプリングに基づく手法を提案する。
また, GPN-UCB が連鎖や多出力鎖に概ね最適であることを示す, 単純後悔と累積後悔に対するアルゴリズムに依存しない下界も提供する。
関連論文リスト
- From Gradient Clipping to Normalization for Heavy Tailed SGD [19.369399536643773]
最近の実証的な証拠は、機械学習の応用が重尾ノイズを伴い、実際に有界分散の標準的な仮定に挑戦していることを示している。
本稿では, 勾配依存型雑音収束問題において, テール雑音下での厳密性を実現することができることを示す。
論文 参考訳（メタデータ） (2024-10-17T17:59:01Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Adaptation to Misspecified Kernel Regularity in Kernelised Bandits [27.912690223941386]
翻訳不変核の正則性に対する適応性について検討する。
規則性が異なる一対のRKHSにおいて、最適な累積後悔を同時に達成することは不可能である。
連続武器付き帯域における適応性の統計的困難さを3つの基本型関数空間で結合する。
論文 参考訳（メタデータ） (2023-04-26T21:12:45Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳（メタデータ） (2022-02-13T07:12:02Z) - Neural Contextual Bandits without Regret [47.73483756447701]
ニューラルネットワークを用いて未知の報酬関数を近似する文脈的帯域幅のアルゴリズムを提案する。
我々のアプローチは、$tildemathcalO(T-1/2d)$ rateで最適ポリシーに収束し、$d$は文脈の次元であることを示す。
論文 参考訳（メタデータ） (2021-07-07T11:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。