論文の概要: Provably and Practically Efficient Neural Contextual Bandits

• arxiv url: http://arxiv.org/abs/2206.00099v1
• Date: Tue, 31 May 2022 20:16:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 12:12:33.544085
• Title: Provably and Practically Efficient Neural Contextual Bandits
• Title（参考訳）: 確率的かつ実用的なニューラルネットワーク帯域
• Authors: Sudeep Salgia, Sattar Vakili, Qing Zhao
• Abstract要約: 有限状態においても有効である証明可能なサブ線形後悔境界を持つアルゴリズムを提案する。 非漸近的エラー境界は、神経コンテキストの包帯における活性化関数の滑らかさとカーネルの包帯におけるカーネルの滑らかさとの関係を確立するためのツールとして、より広い関心を持つかもしれない。
• 参考スコア（独自算出の注目度）: 16.0251555430107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the neural contextual bandit problem. In contrast to the existing work which primarily focuses on ReLU neural nets, we consider a general set of smooth activation functions. Under this more general setting, (i) we derive non-asymptotic error bounds on the difference between an overparameterized neural net and its corresponding neural tangent kernel, (ii) we propose an algorithm with a provably sublinear regret bound that is also efficient in the finite regime as demonstrated by empirical studies. The non-asymptotic error bounds may be of broader interest as a tool to establish the relation between the smoothness of the activation functions in neural contextual bandits and the smoothness of the kernels in kernel bandits.
• Abstract（参考訳）: ニューラル・コンテクスト・バンディットの問題を考える。 主にReLUニューラルネットに焦点を当てた既存の研究とは対照的に、スムーズな活性化関数の集合を考える。 より一般的な設定で。 (i)過パラメータ化ニューラルネットとそれに対応する神経接核との差の非漸近的誤差境界を導出する。 2) 実証的な研究によって示される有限状態においても有効である証明可能なサブ線形後悔境界を持つアルゴリズムを提案する。 非漸近的誤差境界は、ニューラルネットワークの文脈的バンディットにおける活性化関数の滑らかさとカーネルバンドイットにおけるカーネルの滑らかさとの関係を確立するツールとして、より広い関心を持つ。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks [12.018422134251384]
  このクラスでは、トレーニングエラーのほとんどゼロにトレーニングされたニューラルネットワークが矛盾していることが示される。 ReLUアクティベーション関数によって誘導されるカーネルのヒルベルト空間上で、何らかの早期停止規則が最適率(過剰リスク)を与えることが保証されたとき、同じ規則を極大最適率を達成するために使うことができることを示す。
  論文  参考訳（メタデータ） (2022-12-28T14:56:27Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Learning Contextual Bandits Through Perturbed Rewards [107.6210145983805]
  標準正規性条件下では、$tildeO(tildedsqrtT)$ regret上界が達成可能であることを示す。 明示的な探索の必要性を排除するために、ニューラルネットワークを更新する際の報酬を混乱させます。
  論文  参考訳（メタデータ） (2022-01-24T19:10:22Z)
• Uniform Generalization Bounds for Overparameterized Neural Networks [5.945320097465419]
  カーネルシステムにおけるオーバーパラメータ化ニューラルネットワークに対する一様一般化バウンダリを証明した。 我々の境界は、アクティベーション関数の微分可能性に応じて正確な誤差率をキャプチャする。 NTカーネルに対応するRKHSと、Mat'ernカーネルのファミリーに対応するRKHSの等価性を示す。
  論文  参考訳（メタデータ） (2021-09-13T16:20:13Z)
• On the approximation of functions by tanh neural networks [0.0]
  我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
  論文  参考訳（メタデータ） (2021-04-18T19:30:45Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Stable Neural Flows [15.318500611972441]
  ニューラルネットワークによってパラメータ化されたエネルギー汎関数上で軌道が進化するニューラル常微分方程式(ニューラルODE)の確率的に安定な変種を導入する。 学習手順は最適制御問題としてキャストされ、随伴感性分析に基づいて近似解が提案される。
  論文  参考訳（メタデータ） (2020-03-18T06:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。