論文の概要: Planned Restlessness: Delayed Meta Bandits with Budgets
- arxiv url: http://arxiv.org/abs/2610.38955v1
- Date: Wed, 28 Oct 2026 21:38:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.422641
- Title: Planned Restlessness: Delayed Meta Bandits with Budgets
- Title（参考訳）: 計画された安静性:予算を伴うメタバンドの遅延
- Abstract要約: エピソード有限水平ベイズバンド(メタバンド)を独立した腕で研究する。
劇は報酬を受け取り、現在の品質と繰り返される前の品質の両方を知らせる。
学習軌跡に対する共通計画最適化を定式化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study episodic finite-horizon Bayesian bandits, or meta-bandits, with independent arms. Each episode draws fresh arm qualities from unknown recurring priors. Observations arrive after known delays, and plays obey hard per-episode caps and total budgets. A play earns reward and informs both the current quality and the recurring prior: the learner must explore, use, and generalize. We formulate a common planning optimization over learning trajectories. Its LP relaxation values experiments through current reward, resource consumption and continuation: the value of future decisions from the learning state produced. Dual prices separate the arms into local programs and certify every admissible policy, including hierarchical Thompson sampling. Execution enforces the hard constraints while preserving the promised learning transitions or accounting for their loss. The framework also represents risk-sensitive objectives and prices purchased observations and buyout options. Delayed reports create planned restlessness: an arm's information changes while it is not played, through reports of its own earlier plays arriving on a known calendar. For stationary priors, finite reward alphabets, bounded report lag and nonbinding budgets, posterior sampling over the recurring priors bounds the price of not knowing them by $O(\sqrt{N})$ over $N$ episodes, with other parameters fixed. For one undelayed $T$-step episode with arms capped at $T/X$ plays each, we obtain the LP-relative approximation factor $1+(2πX)^{-1/2}+O(X^{-1})$, improving previous factors, with a matching lower bound for the leading term.
- Abstract（参考訳）: エピソード有限水平ベイズバンド(メタバンド)を独立した腕で研究する。
それぞれのエピソードは、未知の繰り返しによって、新鮮な腕の質を引き出す。
観測は、既知の遅延の後、到着し、プレイは、エピソードごとのハードキャップと総予算に従う。
劇は報酬を得て、現在の品質と繰り返し続く事前の両方を知らせる:学習者は探索し、使用し、一般化しなければならない。
学習軌跡に対する共通計画最適化を定式化する。
そのLP緩和は、現在の報酬、資源消費、継続を通じて実験を価値付けする。
デュアル・プライスは武器を地元のプログラムに分け、階層的なトンプソン・サンプリングを含む全ての許容可能な政策を認定する。
実行は、約束される学習遷移を維持しながら、ハード制約を強制する。
フレームワークはまた、リスクに敏感な目標と、購入した観察と買い取りオプションも表現している。
遅延レポートは、計画された休息を発生させる: 腕の情報が再生されていない間に変化する。
固定前置詞、有限報酬アルファベット、有界レポートラグ、非束縛予算については、繰り返し前置詞に対する後続サンプリングは、$O(\sqrt{N})$ over $N$ episodes でそれを知らない価格に制限され、他のパラメータは固定されている。
腕をT/X$プレイで固定した1つの未遅延$T$-stepエピソードに対して、LP相対近似係数1+(2πX)^{-1/2}+O(X^{-1})$を得る。
関連論文リスト
- Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
容量制約下での遅延オンライン凸最適化(OCO)について検討した。
1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。
包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
論文 参考訳（メタデータ） (2026-06-10T06:37:06Z) - Learning Markov Decision Processes under Fully Bandit Feedback [7.462282493793144]
強化学習における標準的な前提は、エージェントが関連する決定プロセス(MDP)において、訪れた状態-行動ペアをすべて観察するということである。
我々は,$widetildeO(sqrtT)$ regretのエピソードMDPに対して,最初の効率的な帯域幅学習アルゴリズムを提供する。
論文 参考訳（メタデータ） (2026-02-02T16:03:24Z) - No-Regret Learning Under Adversarial Resource Constraints: A Spending Plan Is All You Need! [56.80767500991973]
アクション選択の前に報酬とコストが観測される$(i)$オンラインリソース割当と、アクション選択後、完全なフィードバックや盗賊フィードバックの下で、リソース制限付きオンライン学習である$(ii)$オンラインリソース割当に焦点を当てた。
報酬とコスト分布が時間とともに任意に変化する場合、これらの設定でサブ線形後悔を達成することは不可能であることが知られている。
我々は、支出計画に従う基準線に対する半線形後悔を実現する一般的な(基本的)二重的手法を設計し、また、支出計画が予算のバランスの取れた配分を保証すると、アルゴリズムの性能が向上する。
論文 参考訳（メタデータ） (2025-06-16T08:42:31Z) - Fixed-Confidence Best Arm Identification with Decreasing Variance [12.018304940341793]
腕の報酬の変動を時間的に減少させるマルチアームバンディットにおけるベストアーム識別の問題に焦点をあてる。
学習者によるコストは、最適な腕を特定するのに必要な時間の重み付けされた和としてモデル化される。
論文 参考訳（メタデータ） (2025-02-11T02:47:20Z) - Optimistic Posterior Sampling for Reinforcement Learning with Few
Samples and Tight Guarantees [43.13918072870693]
強化学習(OPSRL)のための楽観的後部サンプリングアルゴリズムを提案する。
殆どの$widetildemathcalO(sqrtH3SAT)$ ignoring $textpolylog(HSAT)$ termsにおいて、高い確率で再帰的な順序境界を保証する。
我々の境界は位数$Omega(sqrtH3SAT)$の下位境界と一致し、Agrawal と Jia が提起した開問題に答える。
論文 参考訳（メタデータ） (2022-09-28T20:49:34Z) - Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations [102.32996053572144]
我々は,各ラウンドの開始時に,学習者が各アームの真の報酬について,ノイズのない独立した評価を受けるマルチアームバンディット・セッティングを考える。
評価の方法によって異なるアルゴリズムアプローチと理論的保証を導出する。
論文 参考訳（メタデータ） (2021-12-13T09:48:54Z) - Break your Bandit Routine with LSD Rewards: a Last Switch Dependent
Analysis of Satiation and Seasonality [6.146046338698175]
そこで本研究では,腕が最後に動作を切り替えて以降の時間経過によって,腕の期待される報酬が完全に決定される,新たな非定常バンディット問題を導入する。
我々のモデルは、遅延依存報酬の概念を一般化し、報酬関数に関するほとんどの仮定を緩和する。
我々はアルゴリズムを証明し、最適な非定常ポリシーに関してその後悔を証明した。
論文 参考訳（メタデータ） (2021-10-22T14:53:13Z) - Learning and Optimization with Seasonal Patterns [3.7578900993400626]
平均報酬が周期的に変化するK$アームを持つ非定常MABモデルを考える。
本稿では,信頼関係分析と学習手順を組み合わせて未知の期間を学習する2段階ポリシーを提案する。
我々の学習ポリシーは、後悔の上限である $tildeO(sqrtTsum_k=1K T_k)$ ここで、$T_k$はarm $k$の期間であることを示す。
論文 参考訳（メタデータ） (2020-05-16T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。