論文の概要: Stochastic Bandits with ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2405.07331v1
• Date: Sun, 12 May 2024 16:54:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 15:34:20.379145
• Title: Stochastic Bandits with ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークを用いた確率帯域
• Authors: Kan Xu, Hamsa Bastani, Surbhi Goel, Osbert Bastani,
• Abstract要約: 我々は,1層ReLUニューラルネットワークの帯域を考慮すれば,$tildeO(sqrtT)の後悔保証が達成可能であることを示す。 この上限を達成できるOFU-ReLUアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 40.41457480347015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the stochastic bandit problem with ReLU neural network structure. We show that a $\tilde{O}(\sqrt{T})$ regret guarantee is achievable by considering bandits with one-layer ReLU neural networks; to the best of our knowledge, our work is the first to achieve such a guarantee. In this specific setting, we propose an OFU-ReLU algorithm that can achieve this upper bound. The algorithm first explores randomly until it reaches a linear regime, and then implements a UCB-type linear bandit algorithm to balance exploration and exploitation. Our key insight is that we can exploit the piecewise linear structure of ReLU activations and convert the problem into a linear bandit in a transformed feature space, once we learn the parameters of ReLU relatively accurately during the exploration stage. To remove dependence on model parameters, we design an OFU-ReLU+ algorithm based on a batching strategy, which can provide the same theoretical guarantee.
• Abstract（参考訳）: 本稿では,ReLUニューラルネットワーク構造を用いた確率的帯域幅問題について検討する。 我々は, 1層ReLUニューラルネットワークの帯域を考慮すれば, $\tilde{O}(\sqrt{T})$ 後悔の保証が達成可能であることを示す。 本稿では,この上限を達成できるOFU-RELUアルゴリズムを提案する。 このアルゴリズムはまず線形状態に到達するまでランダムに探索し、続いて探索と利用のバランスをとるために UCB 型線形バンドイットアルゴリズムを実装した。 我々の重要な洞察は、探索段階でReLUのパラメータを相対的に正確に学習すると、ReLUアクティベーションの断片的線形構造を利用して、変換された特徴空間における問題を線形帯域に変換することができるということである。 モデルパラメータへの依存を取り除くため,バッチ化戦略に基づくOFU-ReLU+アルゴリズムを設計し,同じ理論的保証を提供する。

関連論文リスト

• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Neural Contextual Bandits without Regret [47.73483756447701]
  ニューラルネットワークを用いて未知の報酬関数を近似する文脈的帯域幅のアルゴリズムを提案する。 我々のアプローチは、$tildemathcalO(T-1/2d)$ rateで最適ポリシーに収束し、$d$は文脈の次元であることを示す。
  論文  参考訳（メタデータ） (2021-07-07T11:11:34Z)
• Upper Confidence Bounds for Combining Stochastic Bandits [52.10197476419621]
  バンディットアルゴリズムを結合する簡単な手法を提案する。 私たちのアプローチは、個々のbanditアルゴリズムのそれぞれを、より高いレベルのn$-armed bandit問題のアームとして扱う"meta-ucb"手順に基づいています。
  論文  参考訳（メタデータ） (2020-12-24T05:36:29Z)
• Neural Contextual Bandits with Deep Representation and Shallow Exploration [105.8099566651448]
  本稿では,深部ReLUニューラルネットワークの最後の隠蔽層を用いて,原特徴ベクトルを変換する新しい学習アルゴリズムを提案する。 既存のニューラルネットワークと比較して、ディープニューラルネットワークの最後の層でのみ探索する必要があるため、我々のアプローチは計算的にはるかに効率的です。
  論文  参考訳（メタデータ） (2020-12-03T09:17:55Z)
• Experimental Design for Regret Minimization in Linear Bandits [19.8309784360219]
  オンライン・リニア・バンドレットにおける後悔を最小限に抑える設計に基づく新しいアルゴリズムを提案する。 我々は、現在最先端の有限時間後悔保証を提供し、このアルゴリズムが帯域幅と半帯域幅の両方のフィードバックシステムに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-01T17:59:19Z)
• Neural Thompson Sampling [94.82847209157494]
  本稿では,ニューラルトンプソンサンプリング(Neural Thompson Smpling)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムの中核は報酬の新たな後部分布であり、その平均はニューラルネットワーク近似器であり、その分散は対応するニューラルネットワークのニューラル・タンジェントな特徴に基づいて構築されている。
  論文  参考訳（メタデータ） (2020-10-02T07:44:09Z)
• Provable Training of a ReLU Gate with an Iterative Non-Gradient Algorithm [0.7614628596146599]
  我々は,未調査体制下での1つのReLUゲートのトレーニングについて,証明可能な保証を示す。 我々は,真のラベルに対する(オンライン)データポゾン攻撃の下で,真のラベル生成パラメータを近似的に復元することを示す。 我々の保証は最悪の場合ほぼ最適であることが示され、真の重量回復の精度は攻撃の確率と大きさの増大とともに優雅に低下する。
  論文  参考訳（メタデータ） (2020-05-08T17:59:23Z)
• Bandit algorithms to emulate human decision making using probabilistic distortions [20.422725678982726]
  報奨分布に歪んだ確率を持つ2つの多重武装バンディット問題を定式化する。 以上のような後悔の最小化の問題と、マルチアームバンディットのための最高の腕識別フレームワークについて考察する。
  論文  参考訳（メタデータ） (2016-11-30T17:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。