論文の概要: Non-stationary Delayed Combinatorial Semi-Bandit with Causally Related Rewards

• arxiv url: http://arxiv.org/abs/2307.09093v1
• Date: Tue, 18 Jul 2023 09:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 15:33:23.721442
• Title: Non-stationary Delayed Combinatorial Semi-Bandit with Causally Related Rewards
• Title（参考訳）: 因果リワードを伴う非定常遅延組合せ半帯域
• Authors: Saeed Ghoorchian and Setareh Maghsudi
• Abstract要約: 我々は、因果関係の報酬で非定常かつ遅延半帯域問題を定式化する。 遅延したフィードバックから構造的依存関係を学習し、それを利用して意思決定を最適化する政策を開発する。 イタリアにおけるCovid-19の拡散に最も寄与する地域を検出するために, 合成および実世界のデータセットを用いて数値解析により評価を行った。
• 参考スコア（独自算出の注目度）: 7.0997346625024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential decision-making under uncertainty is often associated with long feedback delays. Such delays degrade the performance of the learning agent in identifying a subset of arms with the optimal collective reward in the long run. This problem becomes significantly challenging in a non-stationary environment with structural dependencies amongst the reward distributions associated with the arms. Therefore, besides adapting to delays and environmental changes, learning the causal relations alleviates the adverse effects of feedback delay on the decision-making process. We formalize the described setting as a non-stationary and delayed combinatorial semi-bandit problem with causally related rewards. We model the causal relations by a directed graph in a stationary structural equation model. The agent maximizes the long-term average payoff, defined as a linear function of the base arms' rewards. We develop a policy that learns the structural dependencies from delayed feedback and utilizes that to optimize the decision-making while adapting to drifts. We prove a regret bound for the performance of the proposed algorithm. Besides, we evaluate our method via numerical analysis using synthetic and real-world datasets to detect the regions that contribute the most to the spread of Covid-19 in Italy.
• Abstract（参考訳）: 不確実性の下での連続的な意思決定は、しばしば長いフィードバックの遅延と関連付けられる。 このような遅延は、学習エージェントの性能を低下させ、長期における最適な集団報酬によってアームのサブセットを特定する。 この問題は、アームに関連する報酬分布に構造的依存がある非定常環境では著しく困難になる。 したがって、遅延や環境変化に適応する以外に、因果関係の学習は、フィードバック遅延が意思決定プロセスに悪影響を与えることを緩和する。 上記の設定を因果関係の報酬を伴う非定常および遅延組合せ半バンド問題として定式化する。 定常構造方程式モデルにおける有向グラフによる因果関係をモデル化する。 エージェントは、ベースアームの報酬の線形関数として定義される長期的な平均ペイオフを最大化する。 我々は,遅延フィードバックから構造的依存関係を学習し,ドリフトに適応しながら意思決定を最適化するポリシを開発する。 我々は,提案アルゴリズムの性能に対する後悔を証明した。 さらに, イタリアにおけるCovid-19の拡散に最も寄与する地域を検出するために, 合成および実世界のデータセットを用いた数値解析による手法の評価を行った。

関連論文リスト

• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Piecewise-Stationary Combinatorial Semi-Bandit with Causally Related Rewards [5.347237827669861]
  本稿では,因果関係の報酬を用いた定常半帯域問題について検討する。 非定常環境では、ベースアームの分布の変化、報酬間の因果関係、またはその両方が報酬生成プロセスを変化させる。 この問題は半帯域設定で増加し、意思決定者は選択したアームの束の結果のみを観察する。
  論文  参考訳（メタデータ） (2023-07-26T12:06:13Z)
• Linear Combinatorial Semi-Bandit with Causally Related Rewards [5.347237827669861]
  ネットワークのトポロジを学習することで因果関係を決定する政策を提案する。 提案アルゴリズムのサブ線形後悔境界を確立する。
  論文  参考訳（メタデータ） (2022-12-25T16:05:21Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [59.125047512495456]
  重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Break your Bandit Routine with LSD Rewards: a Last Switch Dependent Analysis of Satiation and Seasonality [6.146046338698175]
  そこで本研究では,腕が最後に動作を切り替えて以降の時間経過によって,腕の期待される報酬が完全に決定される,新たな非定常バンディット問題を導入する。 我々のモデルは、遅延依存報酬の概念を一般化し、報酬関数に関するほとんどの仮定を緩和する。 我々はアルゴリズムを証明し、最適な非定常ポリシーに関してその後悔を証明した。
  論文  参考訳（メタデータ） (2021-10-22T14:53:13Z)
• Stochastic Multi-Armed Bandits with Unrestricted Delay Distributions [54.25616645675032]
  アルゴリズムが受信したフィードバックにランダムな遅延を伴うマルチアーマッド・バンドイット(MAB)問題について検討する。 報酬非依存の遅延設定は、報酬非依存の遅延設定と、報酬非依存の遅延設定に依存する可能性がある。 私たちの主な貢献は、それぞれの設定でほぼ最適に後悔するアルゴリズムです。
  論文  参考訳（メタデータ） (2021-06-04T12:26:06Z)
• Stochastic bandits with arm-dependent delays [102.63128271054741]
  我々は、単純なUCBベースのアルゴリズムであるPatentBanditsを提案する。 問題に依存しない境界も問題に依存しない境界も、性能の低い境界も提供します。
  論文  参考訳（メタデータ） (2020-06-18T12:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。