論文の概要: The Bandit Whisperer: Communication Learning for Restless Bandits

• arxiv url: http://arxiv.org/abs/2408.05686v2
• Date: Tue, 17 Dec 2024 07:36:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:54:22.236889
• Title: The Bandit Whisperer: Communication Learning for Restless Bandits
• Title（参考訳）: バンドウィスペラ:レストレスバンドのためのコミュニケーション学習
• Authors: Yunfan Zhao, Tonghan Wang, Dheeraj Nagaraj, Aparna Taneja, Milind Tambe,
• Abstract要約: 我々は、レスレスマルチアームバンド(RMAB)における最初のコミュニケーション学習手法を提案する。 我々の設定では、腕は同様の腕からQ関数パラメータを受信し、行動ポリシーを導出し、Q関数の更新を操縦する。 両腕をまたいだメッセージの合体性を考慮し,その合体ユーティリティを分解するQネットワークアーキテクチャを用いて通信戦略を学習する。
• 参考スコア（独自算出の注目度）: 33.33435562661419
• License:
• Abstract: Applying Reinforcement Learning (RL) to Restless Multi-Arm Bandits (RMABs) offers a promising avenue for addressing allocation problems with resource constraints and temporal dynamics. However, classic RMAB models largely overlook the challenges of (systematic) data errors - a common occurrence in real-world scenarios due to factors like varying data collection protocols and intentional noise for differential privacy. We demonstrate that conventional RL algorithms used to train RMABs can struggle to perform well in such settings. To solve this problem, we propose the first communication learning approach in RMABs, where we study which arms, when involved in communication, are most effective in mitigating the influence of such systematic data errors. In our setup, the arms receive Q-function parameters from similar arms as messages to guide behavioral policies, steering Q-function updates. We learn communication strategies by considering the joint utility of messages across all pairs of arms and using a Q-network architecture that decomposes the joint utility. Both theoretical and empirical evidence validate the effectiveness of our method in significantly improving RMAB performance across diverse problems.
• Abstract（参考訳）: Reinforcement Learning(RL)をRestless Multi-Arm Bandits(RMAB)に適用することで、リソース制約や時間的ダイナミクスによるアロケーション問題に対処する、有望な方法が提供される。 しかし、古典的なRMABモデルは、(システム的な)データエラーの課題を概ね見落としている。 RMABのトレーニングに使用される従来のRLアルゴリズムは、そのような設定でうまく機能することが困難であることを示す。 この問題を解決するために,RMABにおける最初のコミュニケーション学習手法を提案する。この手法では,コミュニケーションに関わるアームが,そのような体系的なデータエラーの影響を軽減するのに最も有効であるかを検討する。 我々の設定では、腕は同様の腕からQ関数パラメータを受信し、行動ポリシーを導出し、Q関数の更新を操縦する。 両腕をまたいだメッセージの合体性を考慮し,その合体ユーティリティを分解するQネットワークアーキテクチャを用いて通信戦略を学習する。 理論的および実証的な証拠は,様々な問題においてRMAB性能を著しく向上させる上で,本手法の有効性を実証するものである。

関連論文リスト

• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• A Federated Online Restless Bandit Framework for Cooperative Resource Allocation [23.698976872351576]
  MRPの未知系力学を用いた協調資源配分問題について検討する。 我々は、このマルチエージェントオンラインRMAB問題を解決するために、フェデレートトンプソン対応Whittle Index(FedTSWI)アルゴリズムを作成した。 数値計算の結果,提案アルゴリズムは,ベースラインと比較して,$mathcalO(sqrtTlog(T))$の高速収束率と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-06-12T08:34:53Z)
• Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
  決定マンバ(Decision Mamba)は、自己進化的な政策学習戦略を持つ、新しい多粒状態空間モデルである。 雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。 この政策は、自身の過去の知識を用いて、準最適動作を洗練させ、ノイズの多い実演における堅牢性を高めることで進化する。
  論文  参考訳（メタデータ） (2024-06-08T10:12:00Z)
• Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond [58.39457881271146]
  CMAB(Multi-armed bandits)の多変量および確率的トリガーアーム(CMAB-MT)を用いた新しい枠組みを導入する。 CMAB-MTは既存のCMABと比べ、モデリング能力を高めるだけでなく、多変量確率変数の異なる統計特性を活用することで結果を改善することができる。 本フレームワークは, エピソード強化学習(RL)や商品分布の確率的最大カバレッジなど, 応用として多くの重要な問題を含むことができる。
  論文  参考訳（メタデータ） (2024-06-03T14:48:53Z)
• Towards a Pretrained Model for Restless Bandits via Multi-arm Generalization [32.90636136408938]
  Restless Multi-arm bandits (RMAB) は、医療、オンライン広告、密猟などの分野で広く利用されているリソース割り当て問題である。 本研究では,これまで見つからなかった広範囲なRMABに対して,一般的なゼロショット能力を有するニューラルネットワークベース事前学習モデル(PreFeRMAB)を開発した。
  論文  参考訳（メタデータ） (2023-10-23T03:16:32Z)
• PS-ARM: An End-to-End Attention-aware Relation Mixer Network for Person Search [56.02761592710612]
  モジュール・パーソン・サーチのための新しいアテンション・アウェア・リレーション・ミキサー(ARM)を提案する。 私たちのARMモジュールはネイティブで、きめ細かい監督やトポロジカルな仮定に依存していません。 我々のPS-ARMは、両方のデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-10-07T10:04:12Z)
• MA-Dreamer: Coordination and communication through shared imagination [5.253168177256072]
  エージェント中心およびグローバルな環境の微分可能なモデルの両方を利用するモデルベース手法であるMA-Dreamerを提案する。 実験の結果,長期話者リスナータスクや強い部分観測性を持つ協調ゲームにおいて,MA-Dreamerはコーディネートを効果的に活用する解を見出すことができた。
  論文  参考訳（メタデータ） (2022-04-10T13:54:26Z)
• Multi-Agent Adversarial Attacks for Multi-Channel Communications [24.576538640840976]
  無線通信シナリオにおける敵をモデル化・解析するためのマルチエージェント・敵システム(MAAS)を提案する。 相手を学習エージェントとしてモデル化することにより,提案するMAASが,送信者戦略の事前知識を必要とせず,送信チャネルと割り当てされた各パワーを適切に選択可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-22T23:57:00Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Correcting Experience Replay for Multi-Agent Communication [18.12281605882891]
  マルチエージェント強化学習(MARL)を用いたコミュニケーション学習の課題について考察する。 一般的なアプローチは、リプレイバッファからサンプリングされたデータを使って、政治外を学ぶことである。 MARLにより誘導される観測通信の非定常性を考慮した「通信補正」を導入する。
  論文  参考訳（メタデータ） (2020-10-02T20:49:24Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。