論文の概要: An Empirical Study of Neural Kernel Bandits
- arxiv url: http://arxiv.org/abs/2111.03543v1
- Date: Fri, 5 Nov 2021 15:06:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-08 14:17:27.039311
- Title: An Empirical Study of Neural Kernel Bandits
- Title（参考訳）: ニューラルカーネルバンドの実証的研究
- Authors: Michal Lisicki, Arash Afkanpour, Graham W. Taylor
- Abstract要約: ニューラルネットワーク(NK)の研究は、最近、NNのすべてのパラメータを考慮に入れたディープネットワークとGPの対応を確立した。
NK帯域幅は,非線形構造データ上での最先端性能を示す。
- 参考スコア（独自算出の注目度）: 17.92492092034792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural bandits have enabled practitioners to operate efficiently on problems
with non-linear reward functions. While in general contextual bandits commonly
utilize Gaussian process (GP) predictive distributions for decision making, the
most successful neural variants use only the last layer parameters in the
derivation. Research on neural kernels (NK) has recently established a
correspondence between deep networks and GPs that take into account all the
parameters of a NN and can be trained more efficiently than most Bayesian NNs.
We propose to directly apply NK-induced distributions to guide an upper
confidence bound or Thompson sampling-based policy. We show that NK bandits
achieve state-of-the-art performance on highly non-linear structured data.
Furthermore, we analyze practical considerations such as training frequency and
model partitioning. We believe our work will help better understand the impact
of utilizing NKs in applied settings.
- Abstract（参考訳）: ニューラルバンディットは、非線形報酬関数の問題を効果的に操作することを可能にする。
一般に、文脈的帯域幅は意思決定にガウス過程(GP)予測分布を用いるが、最も成功した神経変種は導出の最終層パラメータのみを使用する。
ニューラルネットワーク(NK)の研究は、最近、NNのパラメータをすべて考慮し、ほとんどのベイズNNよりも効率的にトレーニングできるディープネットワークとGPの対応を確立した。
本稿では,NK誘起分布を直接適用して,高信頼境界やトンプソンサンプリングに基づく政策を導出する。
NK帯域幅は,非線形構造データ上での最先端性能を示す。
さらに,訓練頻度やモデル分割といった実践的考察も分析した。
当社の作業は、応用設定におけるNKの利用の影響をよりよく理解する上で有効だと信じています。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳（メタデータ） (2023-10-28T06:41:47Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Guided Deep Kernel Learning [42.53025115287688]
無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。
提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
論文 参考訳（メタデータ） (2023-02-19T13:37:34Z) - Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。
入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。
我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文 参考訳（メタデータ） (2022-10-13T09:01:58Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Reinforcement Learning via Gaussian Processes with Neural Network Dual
Kernels [0.0]
ニューラルネットワーク二重カーネルは回帰学習や強化学習に効率的に適用可能であることを示す。
我々は、よく理解されたマウンテンカー問題を用いて、デュアルカーネルで権限を持つGPが、従来のラジアル基底関数カーネルと同様に、少なくとも性能を発揮することを示した。
論文 参考訳（メタデータ） (2020-04-10T18:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。