論文の概要: Minimax-optimal trust-aware multi-armed bandits

• arxiv url: http://arxiv.org/abs/2410.03651v1
• Date: Fri, 4 Oct 2024 17:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:58:02.720353
• Title: Minimax-optimal trust-aware multi-armed bandits
• Title（参考訳）: Minimax-Optimal Trust-Aware Multi-armed bandits
• Authors: Changxiao Cai, Jiacheng Zhang,
• Abstract要約: 我々は、動的信頼モデルを標準のMABフレームワークに統合することで、信頼を意識したMAB問題を研究する。 ほぼ最適統計保証を確実に達成する2段階の信頼認識手法を提案する。
• 参考スコア（独自算出の注目度）: 9.886659385562004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-armed bandit (MAB) algorithms have achieved significant success in sequential decision-making applications, under the premise that humans perfectly implement the recommended policy. However, existing methods often overlook the crucial factor of human trust in learning algorithms. When trust is lacking, humans may deviate from the recommended policy, leading to undesired learning performance. Motivated by this gap, we study the trust-aware MAB problem by integrating a dynamic trust model into the standard MAB framework. Specifically, it assumes that the recommended and actually implemented policy differs depending on human trust, which in turn evolves with the quality of the recommended policy. We establish the minimax regret in the presence of the trust issue and demonstrate the suboptimality of vanilla MAB algorithms such as the upper confidence bound (UCB) algorithm. To overcome this limitation, we introduce a novel two-stage trust-aware procedure that provably attains near-optimal statistical guarantees. A simulation study is conducted to illustrate the benefits of our proposed algorithm when dealing with the trust issue.
• Abstract（参考訳）: マルチアームバンディット(MAB)アルゴリズムは、人間が推奨ポリシーを完全に実装するという前提のもと、シーケンシャルな意思決定アプリケーションにおいて大きな成功を収めている。 しかし、既存の手法はしばしば、学習アルゴリズムにおける人間の信頼の重要な要素を見落としている。 信頼が欠如している場合、人間は推奨された方針から逸脱し、望ましくない学習パフォーマンスにつながる。 このギャップに起因して、動的信頼モデルを標準のMABフレームワークに統合することにより、信頼を意識したMAB問題を研究する。 具体的には、推奨・実際に実施された政策は、人間の信頼によって異なると仮定し、推奨された政策の質とともに進化する。 我々は、信頼問題の存在下でのミニマックスの後悔を確立し、上位信頼境界(UCB)アルゴリズムのようなバニラMABアルゴリズムの準最適性を実証する。 この制限を克服するために、我々は、ほぼ最適統計保証を確実に達成する、2段階の信頼認識手順を導入する。 本研究は,信頼問題に対処する際のアルゴリズムの利点を説明するためのシミュレーション研究である。

関連論文リスト

• Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes [7.028778922533688]
  平均回帰マルコフ決定プロセス(MDPs)は、不確実性の下でのシーケンシャルな意思決定の基盤となる枠組みを提供する。 平均再帰型MDPのユニークな構造特性を考察し,これを用いてReward-Extended Differential (RED) 強化学習を導入する。
  論文  参考訳（メタデータ） (2024-10-14T14:52:23Z)
• Data-Driven Upper Confidence Bounds with Near-Optimal Regret for Heavy-Tailed Bandits [0.0]
  対称な報酬分布のための分布自由データ駆動型 UCB アルゴリズムを提案する。 パラメータフリーなRMM-UCB法では,重み付き分布であっても,ほぼ最適の残差を証明した。
  論文  参考訳（メタデータ） (2024-06-09T10:06:50Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees [3.8073142980733]
  本稿では,ロバストマルコフ決定過程(RMDP)におけるモデルレス強化学習の課題について述べる。 本稿では、まず、ポリシー評価のための多段階オンラインモデルフリー学習アルゴリズムであるRobust Least Squares Policy Evaluationアルゴリズムを提案する。 次に,ロバスト・ラスト・スクエアズ・ポリシー・イテレーション (RLSPI) アルゴリズムを提案し,ロバスト・ラスト・スクエアズ・ポリシーを最適に学習する。
  論文  参考訳（メタデータ） (2020-06-20T16:26:50Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts [22.87432549580184]
  我々はこれを潜在マルコフ決定過程(MDP)上のベイズ強化学習として定式化する。 我々はまず,各潜伏したMDPに対して専門家のアンサンブルを取得し,基本方針を計算するためのアドバイスを融合させる。 次に、アンサンブルの勧告を改善するためにベイズ残留政策を訓練し、不確実性を減らすことを学ぶ。 BRPOは専門家のアンサンブルを著しく改善し、既存の適応RL法を大幅に上回っている。
  論文  参考訳（メタデータ） (2020-02-07T23:10:05Z)
• Thompson Sampling Algorithms for Mean-Variance Bandits [97.43678751629189]
  我々は平均分散MABのためのトンプソンサンプリング型アルゴリズムを開発した。 我々はまた、ガウシアンとベルヌーイの盗賊に対する包括的後悔の分析も提供する。 我々のアルゴリズムは、全てのリスク許容度に対して既存のLCBベースのアルゴリズムを著しく上回っている。
  論文  参考訳（メタデータ） (2020-02-01T15:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。