論文の概要: A Modularized Framework for Piecewise-Stationary Restless Bandits

• arxiv url: http://arxiv.org/abs/2604.10177v1
• Date: Sat, 11 Apr 2026 12:10:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.892096
• Title: A Modularized Framework for Piecewise-Stationary Restless Bandits
• Title（参考訳）: 周期的レスレスバンドのためのモジュール化フレームワーク
• Authors: Kuan-Ta Li, Chia-Chun Lin, Ping-Chun Hsieh, Yu-Chih Huang,
• Abstract要約: 本研究では,PS-RMAB問題について検討した。 それぞれの腕はマルコフ連鎖として進化するが、エンフェメアン報酬は未知のセグメント間で変化するかもしれない 本稿では、任意のRMABベースアルゴリズムと変更検出を統合し、新たな探索機構を提案する。
• 参考スコア（独自算出の注目度）: 16.247398329333205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the piecewise-stationary restless multi-armed bandit (PS-RMAB) problem, where each arm evolves as a Markov chain but \emph{mean rewards may change across unknown segments}. To address the resulting exploration--detection delay trade-off, we propose a modular framework that integrates arbitrary RMAB base algorithms with change detection and a novel diminishing exploration mechanism. This design enables flexible plug-and-play use of existing solvers and detectors, while efficiently adapting to mean changes without prior knowledge of their number. To evaluate performance, we introduce a refined regret notion that measures the \emph{excess regret due to exploration and detection}, benchmarked against an oracle that restarts the base algorithm at the true change points. Under this metric, we prove a regret bound of $\tilde{O}(\sqrt{LMKT})$, where $L$ denotes the maximum mixing time of the Markov chains across all arms and segments, $M$ the number of segments, $K$ the number of arms, and $T$ the horizon. Simulations confirm that our framework achieves regret close to that of the segment oracle and consistently outperforms base solvers that do not incorporate any mechanism to handle environmental changes.
• Abstract（参考訳）: 我々は、各アームがマルコフ連鎖として進化するPS-RMAB問題について検討するが、未知のセグメント間では「emph{mean rewards」が変化する可能性がある。 得られた探索-検出遅延トレードオフに対処するため,任意のRMABベースアルゴリズムを変更検出と統合し,新たな探索機構を提案する。 この設計により、既存のソルバと検出器を柔軟にプラグアンドプレイで使用でき、その数について事前に知ることなく、平均的な変化に効率的に適応できる。 そこで,本研究では,探索と検出による「emph{excess regret」を,基本アルゴリズムを真の変化点で再起動するオラクルに対してベンチマークした。 この計量の下では、$\tilde{O}(\sqrt{LMKT})$の後悔境界を証明し、$L$はすべてのアームとセグメントにわたるマルコフ連鎖の最大混合時間を表し、$M$はセグメント数、$K$はアーム数、$T$は地平線を表す。 シミュレーションにより,本フレームワークはセグメントオラクルに近い後悔を達成し,環境変化に対処する機構を組み込まないベースソルバを一貫して上回っていることを確認した。

関連論文リスト

• Revisiting Weighted Strategy for Non-stationary Parametric Bandits and MDPs [56.246783503873225]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 本稿では,ウィンドウ/リスタートベースアルゴリズムと同様に,より単純な重みに基づくアルゴリズムを提案する。 我々のフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2026-01-03T04:50:21Z)
• Non-Stationary Restless Multi-Armed Bandits with Provable Guarantee [14.201646000111868]
  オンラインレスレス・マルチアーム・バンディット(RMAB)は、各アームが固定状態遷移と報酬を持った静止マルコフ決定プロセス(MDP)に従うと仮定している。 医療やレコメンデーションシステムのような現実世界のアプリケーションでは、これらの仮定は静止しないダイナミクスによって壊れることが多い。 提案手法は,スライディングウィンドウ強化学習(RL)と上位信頼境界(UCB)機構を統合し,遷移力学とその変動を同時に学習する。
  論文  参考訳（メタデータ） (2025-08-14T16:26:00Z)
• Influential Bandits: Pulling an Arm May Change the Environment [44.71145269686588]
  現実世界のアプリケーションは、しばしば非定常環境と武器間の相互依存を含む。 本稿では,未知の,対称な正の半定値相互作用行列による腕間相互作用をモデル化する,影響力のあるバンドイット問題を提案する。 我々は,損失ダイナミクスの構造に合わせて,低信頼境界(LCB)推定器に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-11T02:05:51Z)
• Continuous K-Max Bandits [54.21533414838677]
  我々は、連続的な結果分布と弱い値-インデックスフィードバックを持つ、$K$-Maxのマルチアームバンディット問題について検討する。 この設定は、レコメンデーションシステム、分散コンピューティング、サーバスケジューリングなどにおいて重要なアプリケーションをキャプチャします。 我々の重要な貢献は、適応的な離散化とバイアス補正された信頼境界を組み合わせた計算効率の良いアルゴリズムDCK-UCBである。
  論文  参考訳（メタデータ） (2025-02-19T06:37:37Z)
• Detection Augmented Bandit Procedures for Piecewise Stationary MABs: A Modular Approach [20.502824076522906]
  定常マルチアーマッドバンド(MAB)環境の解析に着目する。 我々のゴールは、DAB(De Detection Augmented Bandit)手順の設計と解析をモジュール化することである。 そこで本研究では,DABの手続き解析をモジュール化できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T15:18:18Z)
• Piecewise-Stationary Multi-Objective Multi-Armed Bandit with Application to Joint Communications and Sensing [7.0997346625024]
  本稿では,この問題を解決するために,変化検出を用いた汎用上信頼境界(UCB)に基づくアルゴリズムを提案する。 また,統合通信・センシングシステムにおけるエネルギー効率のよい波形設計問題を玩具の例として定式化する。
  論文  参考訳（メタデータ） (2023-02-10T14:10:14Z)
• Batch-Size Independent Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms or Independent Arms [59.8188496313214]
  半帯域 (CMAB) について検討し, 半帯域 (CMAB) におけるバッチサイズ (K$) の依存性の低減に着目した。 まず,確率的に引き起こされるアーム(CMAB-T)を用いたCMABの設定に対して,分散を考慮した信頼区間を持つBCUCB-Tアルゴリズムを提案する。 次に,独立アームを用いた非トリガ型CMABの設定に対して,TPVM条件の非トリガ型を利用したSESCBアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T13:09:39Z)
• Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
  マルコフ決定過程における純粋探索問題について検討する。 エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
  論文  参考訳（メタデータ） (2021-06-05T09:16:28Z)
• Restless-UCB, an Efficient and Low-complexity Algorithm for Online Restless Bandits [61.490254407420906]
  我々は、各腕の状態がマルコフ連鎖に従って進化するオンラインレス・バンディット問題について研究する。 本研究では,探索研究の枠組みに従う学習方針であるReestless-UCBを提案する。
  論文  参考訳（メタデータ） (2020-11-05T05:16:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。