論文の概要: Fixed-Budget Change Point Identification in Piecewise Constant Bandits

• arxiv url: http://arxiv.org/abs/2501.12957v1
• Date: Wed, 22 Jan 2025 15:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:32.842909
• Title: Fixed-Budget Change Point Identification in Piecewise Constant Bandits
• Title（参考訳）: 周期定数帯域における固定予算変更点同定
• Authors: Joseph Lazzaro, Ciara Pike-Burke,
• Abstract要約: 本稿では,帯域フィードバックによる平均報酬関数の急激な変化を特定するために設計されたポリシーの非漸近解析を行う。 本研究では,大小の予算体制下で問題を調査し,両設定でエラー確率の低い境界を設定する。 本稿では,小規模・大規模両予算の両立に最適な適応型アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.373803477995854
• License:
• Abstract: We study the piecewise constant bandit problem where the expected reward is a piecewise constant function with one change point (discontinuity) across the action space $[0,1]$ and the learner's aim is to locate the change point. Under the assumption of a fixed exploration budget, we provide the first non-asymptotic analysis of policies designed to locate abrupt changes in the mean reward function under bandit feedback. We study the problem under a large and small budget regime, and for both settings establish lower bounds on the error probability and provide algorithms with near matching upper bounds. Interestingly, our results show a separation in the complexity of the two regimes. We then propose a regime adaptive algorithm which is near optimal for both small and large budgets simultaneously. We complement our theoretical analysis with experimental results in simulated environments to support our findings.
• Abstract（参考訳）: 期待される報酬が1つの変化点(不連続性)が作用空間をまたいだ1つの変化点(不連続性)を持つピースワイドな定数バンドイット問題について検討し、学習者の目的は変化点を見つけることである。 固定的な調査予算を前提として,バンディットフィードバックによる平均報酬関数の急激な変化を特定するために設計された政策の非漸近分析を行った。 我々は,大小の予算体制下で問題を研究し,両設定で誤差確率の低い境界を設定し,ほぼ一致する上限を持つアルゴリズムを提供する。 興味深いことに、我々の結果は2つの体制の複雑さの分離を示している。 そこで我々は,小規模・大規模両予算の両立に最適な適応型アルゴリズムを提案する。 本研究は,シミュレーション環境における実験結果と理論解析を補完し,本研究の成果を裏付けるものである。

関連論文リスト

• Variance-Dependent Regret Bounds for Non-stationary Linear Bandits [52.872628573907434]
  報酬分布の分散と$B_K$の分散を利用するアルゴリズムを提案する。 Restarted Weighted$textOFUL+$とRestarted$textSAVE+$の2つの新しいアルゴリズムを紹介します。 特に、V_K$が$K$よりはるかに小さい場合、我々のアルゴリズムは、異なる設定下での非定常線形バンドレットの最先端結果よりも優れている。
  論文  参考訳（メタデータ） (2024-03-15T23:36:55Z)
• Decentralized Multi-Task Online Convex Optimization Under Random Link Failures [5.513958040574729]
  我々は不均一な確率を持つランダムリンク障害に対する頑健な分散型サドルポイントアルゴリズムを開発した。 我々はアルゴリズムと分析を2点の帯域フィードバックシナリオに拡張する。
  論文  参考訳（メタデータ） (2024-01-04T00:57:33Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Combinatorial Stochastic-Greedy Bandit [79.1700188160944]
  我々は,選択した$n$のアームセットのジョイント報酬以外の余分な情報が観測されない場合に,マルチアームのバンディット問題に対する新規グリーディ・バンディット(SGB)アルゴリズムを提案する。 SGBは最適化された拡張型コミットアプローチを採用しており、ベースアームの大きなセットを持つシナリオ用に特別に設計されている。
  論文  参考訳（メタデータ） (2023-12-13T11:08:25Z)
• Bandit Pareto Set Identification: the Fixed Budget Setting [10.967572582187014]
  マルチアームバンディットモデルにおける純粋探索問題について検討する。 目的は、平均値が他の分布よりも均一に悪くない分布を特定することである。
  論文  参考訳（メタデータ） (2023-11-07T13:43:18Z)
• Piecewise-Stationary Combinatorial Semi-Bandit with Causally Related Rewards [5.347237827669861]
  本稿では,因果関係の報酬を用いた定常半帯域問題について検討する。 非定常環境では、ベースアームの分布の変化、報酬間の因果関係、またはその両方が報酬生成プロセスを変化させる。 この問題は半帯域設定で増加し、意思決定者は選択したアームの束の結果のみを観察する。
  論文  参考訳（メタデータ） (2023-07-26T12:06:13Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• Non-Stationary Bandits under Recharging Payoffs: Improved Planning with Sublinear Regret [34.44347218903429]
  マルチアームバンディット設定は、最近非定常状態において研究されている。 各アクションの平均的なペイオフは、前回のプレイ以来のラウンド数の増加しない機能である。 我々は,我々のアルゴリズムがサブ線形後悔を伴う帯域幅アルゴリズムにどのように変換されるかを示す。
  論文  参考訳（メタデータ） (2022-05-29T23:55:36Z)
• Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
  非強凸設定における最小二乗回帰問題の近似を考察する。 本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-03T14:39:33Z)
• Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning [99.34907092347733]
  本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。 局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。 他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
  論文  参考訳（メタデータ） (2021-06-28T00:38:54Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。