論文の概要: Non-Stationary Bandits with Auto-Regressive Temporal Dependency
- arxiv url: http://arxiv.org/abs/2210.16386v3
- Date: Tue, 12 Dec 2023 18:42:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 21:06:38.423916
- Title: Non-Stationary Bandits with Auto-Regressive Temporal Dependency
- Title(参考訳): 自己回帰的時間依存を伴う非定常バンディット
- Authors: Qinyi Chen, Negin Golrezaei, Djallel Bouneffouf
- Abstract要約: 本稿では,自己回帰(AR)報酬構造を通じて実世界の力学の時間構造をキャプチャする,新しい非定常MABフレームワークを提案する。
i) 時間的依存を利用して探索と利用を動的にバランスさせるのに適した変更機構と, (ii) 時代遅れの情報を捨てるように設計された再起動機構の2つの主要なメカニズムを統合するアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 14.093856726745662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional multi-armed bandit (MAB) frameworks, predominantly examined under
stochastic or adversarial settings, often overlook the temporal dynamics
inherent in many real-world applications such as recommendation systems and
online advertising. This paper introduces a novel non-stationary MAB framework
that captures the temporal structure of these real-world dynamics through an
auto-regressive (AR) reward structure. We propose an algorithm that integrates
two key mechanisms: (i) an alternation mechanism adept at leveraging temporal
dependencies to dynamically balance exploration and exploitation, and (ii) a
restarting mechanism designed to discard out-of-date information. Our algorithm
achieves a regret upper bound that nearly matches the lower bound, with regret
measured against a robust dynamic benchmark. Finally, via a real-world case
study on tourism demand prediction, we demonstrate both the efficacy of our
algorithm and the broader applicability of our techniques to more complex,
rapidly evolving time series.
- Abstract(参考訳): 従来のマルチアーム・バンディット(MAB)フレームワークは、確率的あるいは敵対的な設定の下で主に検討され、しばしばレコメンデーションシステムやオンライン広告のような多くの現実世界のアプリケーションに固有の時間的ダイナミクスを見落としている。
本稿では, 自己回帰(AR)報酬構造を用いて, 実世界の力学の時間的構造を捉えた新しい非定常MABフレームワークを提案する。
2つの重要なメカニズムを統合するアルゴリズムを提案する。
(i)時間依存を利用して探索と搾取の動的バランスをとるための交替機構
(ii)既報情報を破棄するように設計された再起動機構。
本アルゴリズムは,ロバストな動的ベンチマークに対する後悔を計測することで,下限にほぼ匹敵する後悔上限を達成する。
最後に,観光需要予測に関する実世界のケーススタディを通じて,我々のアルゴリズムの有効性と,より複雑で急速に進化する時系列への我々の手法の適用性の両方を実証する。
関連論文リスト
- GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks [24.323017830938394]
この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。
フレームワークは2つの重要な設計に基づいて構築されている。
Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。
これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
論文 参考訳(メタデータ) (2023-11-07T02:36:24Z) - Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning
under A Unified View [73.73667848619343]
UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2023-10-09T16:17:42Z) - Losing momentum in continuous-time stochastic optimisation [62.997667081978825]
近年,運動量に基づくアルゴリズムが特に普及している。
本研究では,運動量を伴う勾配降下の連続時間モデルを提案し,解析する。
我々は、時間とともに運動量を減らす際に、我々のシステムを世界規模のミニミザーに収束させることを示す。
論文 参考訳(メタデータ) (2022-09-08T10:46:05Z) - Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline
Reinforcement Learning [114.36124979578896]
オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。
我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
論文 参考訳(メタデータ) (2022-05-05T05:44:26Z) - Accelerated Continuous-Time Approximate Dynamic Programming via
Data-Assisted Hybrid Control [0.0]
本研究では,アクター・クリティックな構造に動的運動量を組み込んだアルゴリズムを導入し,アフィン構造を入力とする連続時間動植物を制御する。
アルゴリズムに動的運動量を導入することにより、閉ループ系の収束特性を加速することができる。
論文 参考訳(メタデータ) (2022-04-27T05:36:51Z) - Learning Dynamic Mechanisms in Unknown Environments: A Reinforcement
Learning Approach [130.9259586568977]
本稿では,複数ラウンドの対話を通して動的ビックレー・クラーク・グローブ(VCG)機構を回復するための新しい学習アルゴリズムを提案する。
当社のアプローチの重要な貢献は、報酬のないオンライン強化学習(RL)を取り入れて、リッチな政策分野の探索を支援することである。
論文 参考訳(メタデータ) (2022-02-25T16:17:23Z) - Rebounding Bandits for Modeling Satiation Effects [22.92512152419544]
リバウンダリング・バンディット(rebounding bandit)は、時間不変線形力学系として飽和力学をモデル化するマルチアーム・バンディット・セットアップである。
我々は、腕が同一のダイナミクスを示す場合に、欲求政策が最適であることを示す計画問題を特徴づける。
論文 参考訳(メタデータ) (2020-11-13T03:17:29Z) - Stochastically forced ensemble dynamic mode decomposition for
forecasting and analysis of near-periodic systems [65.44033635330604]
本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。
固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。
電力グリッドからの負荷データを用いたテストケースの結果が提示される。
論文 参考訳(メタデータ) (2020-10-08T20:25:52Z) - Automated and Formal Synthesis of Neural Barrier Certificates for
Dynamical Models [70.70479436076238]
バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。
このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。
その結果,音のBCsを最大2桁の速度で合成できることがわかった。
論文 参考訳(メタデータ) (2020-07-07T07:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。