論文の概要: Restless Bandit Problem with Rewards Generated by a Linear Gaussian Dynamical System

• arxiv url: http://arxiv.org/abs/2405.09584v2
• Date: Wed, 22 May 2024 22:01:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 04:51:43.427233
• Title: Restless Bandit Problem with Rewards Generated by a Linear Gaussian Dynamical System
• Title（参考訳）: 線形ガウス力学系による残響を考慮したレスレスバンド問題
• Authors: Jonathan Gornet, Bruno Sinopoli,
• Abstract要約: 不確実性の下での意思決定は、頻繁に遭遇する基本的な問題であり、多重武装バンディット問題として定式化することができる。 本稿では,前述した報奨を線形に組み合わせて各アクションの次の報奨を予測する手法を提案する。 選択された前のアクションのシーケンスにかかわらず、事前に選択されたアクションに対してサンプリングされた報酬が、他のアクションの将来の報酬を予測するために使用できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision-making under uncertainty is a fundamental problem encountered frequently and can be formulated as a stochastic multi-armed bandit problem. In the problem, the learner interacts with an environment by choosing an action at each round, where a round is an instance of an interaction. In response, the environment reveals a reward, which is sampled from a stochastic process, to the learner. The goal of the learner is to maximize cumulative reward. In this work, we assume that the rewards are the inner product of an action vector and a state vector generated by a linear Gaussian dynamical system. To predict the reward for each action, we propose a method that takes a linear combination of previously observed rewards for predicting each action's next reward. We show that, regardless of the sequence of previous actions chosen, the reward sampled for any previously chosen action can be used for predicting another action's future reward, i.e. the reward sampled for action 1 at round $t-1$ can be used for predicting the reward for action $2$ at round $t$. This is accomplished by designing a modified Kalman filter with a matrix representation that can be learned for reward prediction. Numerical evaluations are carried out on a set of linear Gaussian dynamical systems and are compared with 2 other well-known stochastic multi-armed bandit algorithms.
• Abstract（参考訳）: 不確実性の下での意思決定は、頻繁に発生する根本的な問題であり、確率的マルチアームバンディット問題として定式化することができる。 問題では、学習者は各ラウンドでのアクションを選択し、ラウンドが相互作用のインスタンスである環境と対話する。 反応として,確率過程からサンプル化した報酬を学習者に提示する。 学習者の目標は累積報酬を最大化することである。 この研究において、報酬は作用ベクトルの内部積であり、線型ガウス力学系によって生成される状態ベクトルであると仮定する。 本研究では,各行動に対する報酬を予測するために,事前に観測した報酬を線形に組み合わせて各行動の次の報酬を予測する手法を提案する。 例えば、ラウンド$t-1$のアクション1でサンプルされた報酬は、ラウンド$t$のアクション2ドルの報酬を予測できる。 これは、報酬予測のために学習可能な行列表現を備えた修正カルマンフィルタを設計することで達成される。 線形ガウス力学系上で数値評価を行い、他の2つの有名な確率的マルチアームバンディットアルゴリズムと比較する。

関連論文リスト

• Walking the Values in Bayesian Inverse Reinforcement Learning [66.68997022043075]
  ベイズIRLの鍵となる課題は、可能な報酬の仮説空間と可能性の間の計算的ギャップを埋めることである。 本稿では,この知見に基づく新しいマルコフ連鎖モンテカルロ法であるValueWalkを提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:52Z)
• Sparsity-Agnostic Linear Bandits with Adaptive Adversaries [19.84322270472381]
  本研究では,各ラウンドにおいて,学習者が要素を選択して報酬を得る一連の行動(特徴ベクトル)を受信する線形帯域について検討する。 期待される報酬は、選択されたアクションの固定だが未知の線形関数である。 線形報酬関数の非ゼロ係数数$S$に依存するスパース後悔境界について検討する。
  論文  参考訳（メタデータ） (2024-06-03T10:54:58Z)
• Variance-Dependent Regret Bounds for Non-stationary Linear Bandits [52.872628573907434]
  報酬分布の分散と$B_K$の分散を利用するアルゴリズムを提案する。 Restarted Weighted$textOFUL+$とRestarted$textSAVE+$の2つの新しいアルゴリズムを紹介します。 特に、V_K$が$K$よりはるかに小さい場合、我々のアルゴリズムは、異なる設定下での非定常線形バンドレットの最先端結果よりも優れている。
  論文  参考訳（メタデータ） (2024-03-15T23:36:55Z)
• A New Look at Dynamic Regret for Non-Stationary Stochastic Bandits [11.918230810566945]
  本研究では,学習過程において各腕の報酬統計が数回変化しうる非定常的マルチアームバンディット問題について検討する。 我々は、$K$の武器付きバンディット問題において、ほぼ最適の$widetilde O(sqrtK N(S+1))$ dynamic regretを実現する方法を提案する。
  論文  参考訳（メタデータ） (2022-01-17T17:23:56Z)
• Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations [102.32996053572144]
  我々は,各ラウンドの開始時に,学習者が各アームの真の報酬について,ノイズのない独立した評価を受けるマルチアームバンディット・セッティングを考える。 評価の方法によって異なるアルゴリズムアプローチと理論的保証を導出する。
  論文  参考訳（メタデータ） (2021-12-13T09:48:54Z)
• Anti-Concentrated Confidence Bonuses for Scalable Exploration [57.91943847134011]
  固有の報酬は、探検と探検のトレードオフを扱う上で中心的な役割を果たす。 楕円ボーナスを効率的に近似するためのエンファンティ集中型信頼境界を導入する。 我々は,Atariベンチマーク上での現代固有の報酬と競合する,深層強化学習のための実用的な変種を開発する。
  論文  参考訳（メタデータ） (2021-10-21T15:25:15Z)
• Adaptive Algorithms for Multi-armed Bandit with Composite and Anonymous Feedback [32.62857394584907]
  複合および匿名フィードバックによるマルチアームバンディット(MAB)問題を研究する。 本稿では,逆の場合と非逆の場合の適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-13T12:25:41Z)
• DORB: Dynamically Optimizing Multiple Rewards with Bandits [101.68525259222164]
  政策に基づく強化学習は、言語生成タスクにおいて、微分不可能な評価指標を最適化するための有望なアプローチであることが証明されている。 We use the Exp3 algorithm for bandit and formulate two approach for bandit rewards: (1) Single Multi-reward Bandit (SM-Bandit), (2) Hierarchical Multi-reward Bandit (HM-Bandit) 我々は,2つの重要なNLGタスクにおいて,様々な自動計測と人的評価を通じて,我々のアプローチの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2020-11-15T21:57:47Z)
• Predictive Bandits [68.8204255655161]
  我々は,予測的盗賊と呼ばれる,新たな盗賊問題を紹介し,研究する。 各ラウンドで、意思決定者はまず、特定の武器の報酬に関する情報を集めるかどうかを決定する。 意思決定者は、ラウンドで実際にプレイされる腕を選択する。
  論文  参考訳（メタデータ） (2020-04-02T17:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。