論文の概要: Multi-Action Restless Bandits with Weakly Coupled Constraints: Simultaneous Learning and Control

• arxiv url: http://arxiv.org/abs/2412.03326v1
• Date: Wed, 04 Dec 2024 13:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:06:28.113650
• Title: Multi-Action Restless Bandits with Weakly Coupled Constraints: Simultaneous Learning and Control
• Title（参考訳）: 弱結合制約をもつマルチアクションレスバンド:同時学習と制御
• Authors: Jing Fu, Bill Moran, José Niño-Mora,
• Abstract要約: 有限個のマルチアクションバンディット過程をもつシステムについて検討する。 本稿では,同時学習と制御が可能な効果的なスキームを提案する。
• 参考スコア（独自算出の注目度）: 1.6604293152314995
• License:
• Abstract: We study a system with finitely many groups of multi-action bandit processes, each of which is a Markov decision process (MDP) with finite state and action spaces and potentially different transition matrices when taking different actions. The bandit processes of the same group share the same state and action spaces and, given the same action that is taken, the same transition matrix. All the bandit processes across various groups are subject to multiple weakly coupled constraints over their state and action variables. Unlike the past studies that focused on the offline case, we consider the online case without assuming full knowledge of transition matrices and reward functions a priori and propose an effective scheme that enables simultaneous learning and control. We prove the convergence of the relevant processes in both the timeline and the number of the bandit processes, referred to as the convergence in the time and the magnitude dimensions. Moreover, we prove that the relevant processes converge exponentially fast in the magnitude dimension, leading to exponentially diminishing performance deviation between the proposed online algorithms and offline optimality.
• Abstract（参考訳）: 有限状態および作用空間を持つマルコフ決定過程 (MDP) であり, 異なる作用をとる場合の遷移行列が異なる可能性がある。 同じ群のバンディット過程は、同じ状態と作用空間を共有し、同じ作用をとると、同じ遷移行列が与えられる。 様々な群にわたるすべてのバンディット過程は、状態と作用変数に対して複数の弱結合された制約を受ける。 オフラインの場合に焦点を当てた過去の研究とは異なり、遷移行列や報酬関数の知識を前提とせず、オンラインの場合を優先的に検討し、同時学習と制御が可能な効果的なスキームを提案する。 我々は、時間と大きさの次元における収束と呼ばれる帯域プロセスの時間と数の両方における関連プロセスの収束を証明した。 さらに、関係するプロセスは、等級次元において指数関数的に高速に収束し、提案したオンラインアルゴリズムとオフライン最適性との間の性能差が指数関数的に減少することを示した。

関連論文リスト

• Distributed Multi-Task Learning for Stochastic Bandits with Context Distribution and Stage-wise Constraints [0.0]
  本稿では,分散上信頼度境界(UCB)アルゴリズム,関連UCBを提案する。 提案アルゴリズムは,各ラウンドにおいて,制約を満たすためにプルーニングされた動作セットを構築する。 合成データと実世界のMovielens-100Kデータに対するアルゴリズムの性能を実証的に検証した。
  論文  参考訳（メタデータ） (2024-01-21T18:43:55Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• DIR-AS: Decoupling Individual Identification and Temporal Reasoning for Action Segmentation [84.78383981697377]
  完全な教師付きアクションセグメンテーションは、高密度アノテーションによるフレームワイドアクション認識に作用し、しばしば過剰なセグメンテーションの問題に悩まされる。 本研究では, 時間的ピラミッド拡張と時間的ピラミッドプールを併用して, 効率的なマルチスケールアテンションを実現するため, 新たなローカル・グローバルアテンション機構を開発した。 GTEAでは82.8%(+2.6%)、Breakfastでは74.7%(+1.2%)の精度を実現し,本手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-04-04T20:27:18Z)
• Multi-Armed Bandits with Generalized Temporally-Partitioned Rewards [0.4194295877935867]
  現実のアプリケーションでは、決定に関するフィードバックが遅れて、異なる遅延で観察される部分的な報酬によって到着する場合がある。 本稿では,時間分割報酬を一般化したマルチアームバンディット(multi-armed bandits)と呼ばれる新しい問題定式化を提案する。 検討した問題に対する一様に効率的なアルゴリズムの性能の低い境界を導出する。
  論文  参考訳（メタデータ） (2023-03-01T16:22:22Z)
• GBOSE: Generalized Bandit Orthogonalized Semiparametric Estimation [3.441021278275805]
  そこで本稿では,半パラメトリック報酬モデルを用いた新たなアルゴリズムを提案する。 我々の研究は、同じアクションフィルタリング法に基づいて構築されたアルゴリズムを提案することによって、同様の報酬モデルを用いて、最先端の複雑さの別の代表的アルゴリズムの範囲を広げる。 本研究は,2本以上の腕を持つ症例に対して,既知の半パラメトリックバンディットアルゴリズムから,これらの手法の優位性を確認するためのシミュレーション結果と,その上界の複雑さを導出したものである。
  論文  参考訳（メタデータ） (2023-01-20T19:39:10Z)
• Square-root regret bounds for continuous-time episodic Markov decision processes [11.585113506994471]
  有限水平エピソード設定における連続時間マルコフ決定過程(MDP)の強化学習について検討した。 本稿では,反復値と高信頼度境界に基づく学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T11:35:07Z)
• Fusion and Orthogonal Projection for Improved Face-Voice Association [15.938463726577128]
  顔と声の関連性について検討する。 両モードの相補的手がかりを利用して, リッチなフューズド埋め込みを形成する軽量なプラグアンドプレイ機構を提案する。
  論文  参考訳（メタデータ） (2021-12-20T12:33:33Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow [73.1896399783641]
  会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。 遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。 提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
  論文  参考訳（メタデータ） (2021-07-01T03:54:36Z)
• Parallelizing Contextual Linear Bandits [82.65675585004448]
  並列な)コンテキスト線形バンディットアルゴリズムの族を提示し、その遺残はそれらの完全シーケンシャルなアルゴリズムとほぼ同一である。 また,これらの並列アルゴリズムについて,材料発見や生物配列設計の問題など,いくつかの領域で実証評価を行った。
  論文  参考訳（メタデータ） (2021-05-21T22:22:02Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。