論文の概要: Regret Bounds for Noise-Free Cascaded Kernelized Bandits
- arxiv url: http://arxiv.org/abs/2211.05430v1
- Date: Thu, 10 Nov 2022 09:12:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 14:46:27.867474
- Title: Regret Bounds for Noise-Free Cascaded Kernelized Bandits
- Title(参考訳): ノイズのないカスケード化帯域のレグレト境界
- Authors: Zihan Li, Jonathan Scarlett
- Abstract要約: RKHS関数クラスを用いたノイズフリーグレーボックス設定において,関数ネットワークの最適化を検討する。
本研究では,(1)チェーン:スカラー値関数のカスケード,(2)マルチアウトプットチェーン:ベクトル値関数のカスケード,(3)フィードフォワードネットワーク:完全に接続されたスカラー値関数のフィードフォワードネットワークの3種類の構造について検討する。
- 参考スコア(独自算出の注目度): 51.45291566743071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider optimizing a function network in the noise-free grey-box setting
with RKHS function classes, where the exact intermediate results are
observable. We assume that the structure of the network is known (but not the
underlying functions comprising it), and we study three types of structures:
(1) chain: a cascade of scalar-valued functions, (2) multi-output chain: a
cascade of vector-valued functions, and (3) feed-forward network: a fully
connected feed-forward network of scalar-valued functions. We propose a
sequential upper confidence bound based algorithm GPN-UCB along with a general
theoretical upper bound on the cumulative regret. For the Mat\'ern kernel, we
additionally propose a non-adaptive sampling based method along with its
theoretical upper bound on the simple regret. We also provide
algorithm-independent lower bounds on the simple regret and cumulative regret,
showing that GPN-UCB is near-optimal for chains and multi-output chains in
broad cases of interest.
- Abstract(参考訳): RKHS関数クラスを用いたノイズフリーグレーボックス設定における関数ネットワークの最適化について検討する。
ネットワークの構造が知られている(ただし、それを構成する機能ではない)と仮定し、(1)連鎖:スカラー値関数のカスケード、(2)マルチアウトプット連鎖:ベクトル値関数のカスケード、(3)フィードフォワードネットワーク:スカラー値関数の完全接続フィードフォワードネットワークの3種類の構造について検討する。
本稿では, 累積的後悔に対する理論上界と合わせて, 逐次的上限付きアルゴリズム GPN-UCB を提案する。
Mat\'ern カーネルに対しては、単純後悔の理論的上限とともに非適応サンプリングに基づく手法を提案する。
また, GPN-UCB が連鎖や多出力鎖に概ね最適であることを示す, 単純後悔と累積後悔に対するアルゴリズムに依存しない下界も提供する。
関連論文リスト
- Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳(メタデータ) (2023-10-20T02:12:56Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Approximation of Lipschitz Functions using Deep Spline Neural Networks [21.13606355641886]
本稿では,ReLUネットワークの代わりに,少なくとも3つの線形領域を持つ学習可能なスプライン活性化関数を提案する。
この選択は、全てのコンポーネントワイド1ドルLipschitzアクティベーション関数の中で最適であることを示す。
この選択は、スペクトルノルム制約重みに対する最近導入された非成分ワイド群活性化関数と同じくらい表現力がある。
論文 参考訳(メタデータ) (2022-04-13T08:07:28Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳(メタデータ) (2022-02-13T07:12:02Z) - Neural Contextual Bandits without Regret [47.73483756447701]
ニューラルネットワークを用いて未知の報酬関数を近似する文脈的帯域幅のアルゴリズムを提案する。
我々のアプローチは、$tildemathcalO(T-1/2d)$ rateで最適ポリシーに収束し、$d$は文脈の次元であることを示す。
論文 参考訳(メタデータ) (2021-07-07T11:11:34Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳(メタデータ) (2021-04-03T09:08:12Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - The Curious Case of Convex Neural Networks [12.56278477726461]
完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。
a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-06-09T08:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。