論文の概要: Improve Value Estimation of Q Function and Reshape Reward with Monte Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2410.11642v2
• Date: Wed, 23 Oct 2024 09:43:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:53:16.688430
• Title: Improve Value Estimation of Q Function and Reshape Reward with Monte Carlo Tree Search
• Title（参考訳）: モンテカルロ木探索によるQ関数の値推定と逆変換の改善
• Authors: Jiamian Li,
• Abstract要約: 強化学習は、GoやAtariといった完璧な情報ゲームで大きな成功を収めた。 不完全な情報ゲームのための強化学習の研究は、より複雑なゲーム構造とランダム性のために比較的限られている。 本稿では,不完全な情報ゲームであるUnoに着目し,Q値過大評価を減らし,報酬関数を書き換えることにより,これらの問題に対処することを目的とする。
• 参考スコア（独自算出の注目度）: 0.4450107621124637
• License:
• Abstract: Reinforcement learning has achieved remarkable success in perfect information games such as Go and Atari, enabling agents to compete at the highest levels against human players. However, research in reinforcement learning for imperfect information games has been relatively limited due to the more complex game structures and randomness. Traditional methods face challenges in training and improving performance in imperfect information games due to issues like inaccurate Q value estimation and reward sparsity. In this paper, we focus on Uno, an imperfect information game, and aim to address these problems by reducing Q value overestimation and reshaping reward function. We propose a novel algorithm that utilizes Monte Carlo Tree Search to average the value estimations in Q function. Even though we choose Double Deep Q Learning as the foundational framework in this paper, our method can be generalized and used in any algorithm which needs Q value estimation, such as the Actor-Critic. Additionally, we employ Monte Carlo Tree Search to reshape the reward structure in the game environment. We compare our algorithm with several traditional methods applied to games such as Double Deep Q Learning, Deep Monte Carlo and Neural Fictitious Self Play, and the experiments demonstrate that our algorithm consistently outperforms these approaches, especially as the number of players in Uno increases, indicating a higher level of difficulty.
• Abstract（参考訳）: 強化学習は、GoやAtariのような完璧な情報ゲームにおいて顕著な成功を収めており、エージェントは人間のプレイヤーに対して最高のレベルで競争することができる。 しかし,不完全な情報ゲームに対する強化学習の研究は,より複雑なゲーム構造とランダム性のため,比較的限定されている。 従来の手法では、不正確なQ値の推定や報酬の分散といった問題により、不完全な情報ゲームのトレーニングとパフォーマンス向上の課題に直面している。 本稿では,不完全な情報ゲームであるUnoに着目し,Q値過大評価を減らし,報酬関数を書き換えることにより,これらの問題に対処することを目的とする。 本稿ではモンテカルロ木探索を用いてQ関数の値推定を行う新しいアルゴリズムを提案する。 本稿では,基礎となるフレームワークとしてDouble Deep Q Learningを選択するが,この手法は,アクタ・クリティカルのようなQ値推定を必要とするアルゴリズムで一般化し,利用できる。 さらに,ゲーム環境における報酬構造を再構成するためにモンテカルロ木探索を用いる。 このアルゴリズムをDouble Deep Q LearningやDeep Monte Carlo、Neural Fictitious Self Playといったゲームに適用したいくつかの従来の手法と比較し、特にUnoのプレイヤー数が増加するにつれて、アルゴリズムがこれらのアプローチを一貫して上回り、難易度が高いことを示す実験を行った。

関連論文リスト

• Walking the Values in Bayesian Inverse Reinforcement Learning [66.68997022043075]
  ベイズIRLの鍵となる課題は、可能な報酬の仮説空間と可能性の間の計算的ギャップを埋めることである。 本稿では,この知見に基づく新しいマルコフ連鎖モンテカルロ法であるValueWalkを提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:52Z)
• Responsible AI (RAI) Games and Ensembles [30.110052769733247]
  本稿では,Responsible AI(RAI)ゲーム(Responsible AI)と呼ばれる問題を研究するための一般的なフレームワークを提供する。 a)ゲームプレイベースアルゴリズムと(b)ステージワイズ推定アルゴリズムの2つのクラスを提供する。 我々は、いくつかのRAI問題、特にサブポピュレーションシフトに関して、我々の技術の適用性と競争性能を実証的に実証した。
  論文  参考訳（メタデータ） (2023-10-28T22:17:30Z)
• Hardness of Independent Learning and Sparse Equilibrium Computation in Markov Games [70.19141208203227]
  マルコフゲームにおける分散型マルチエージェント強化学習の問題点を考察する。 我々は,全てのプレイヤーが独立に実行すると,一般のサムゲームにおいて,アルゴリズムが到達しないことを示す。 我々は,全てのエージェントが集中型アルゴリズムによって制御されるような,一見簡単な設定であっても,下位境界が保持されていることを示す。
  論文  参考訳（メタデータ） (2023-03-22T03:28:12Z)
• Beyond Games: A Systematic Review of Neural Monte Carlo Tree Search Applications [0.0]
  ゲーム以外の領域におけるニューラルモンテカルロ木探索法の適用について,129の論文を概説する。 我々の目標は、そのような手法が実際にどのように構成されているか、そしてその成功を他のドメインに拡張できるかどうかを体系的に評価することである。
  論文  参考訳（メタデータ） (2023-03-14T16:52:31Z)
• Learning to Play Text-based Adventure Games with Maximum Entropy Reinforcement Learning [4.698846136465861]
  我々はテキストベースの環境にソフト・アクター・クリティック(SAC)アルゴリズムを適用する。 報酬形成技術は、エージェントがポリシーをより早く学習し、より高いスコアを得るのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-02-21T15:16:12Z)
• No-Regret Learning in Time-Varying Zero-Sum Games [99.86860277006318]
  固定ゼロサムゲームにおける繰り返しプレイからの学習は、ゲーム理論とオンライン学習における古典的な問題である。 提案手法は,3つの性能基準の下で,良好な保証を同時に享受できる1つのパラメータフリーアルゴリズムである。 本アルゴリズムは,ある特性を満たすブラックボックスベースラーナー群に対するメタアルゴリズムを用いた2層構造に基づく。
  論文  参考訳（メタデータ） (2022-01-30T06:10:04Z)
• Improve Agents without Retraining: Parallel Tree Search with Off-Policy Correction [63.595545216327245]
  木探索(TS)における2つの大きな課題に取り組む。 我々はまず、TSと事前学習された値関数による行動選択が、元の事前学習されたエージェントと比較して性能を低下させるという、反直感的な現象を発見し、分析する。 Batch-BFS(Batch-BFS)は,木の各深さのすべてのノードを同時に前進させるGPUワイドファースト検索である。
  論文  参考訳（メタデータ） (2021-07-04T19:32:24Z)
• An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games [79.23847247132345]
  本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。 提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T10:30:48Z)
• Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search [8.22379888383833]
  モンテカルロ・ツリー・サーチ(MCTS)と深部強化学習の組み合わせは,2プレイヤー完全情報ゲームにおける最先端の手法である。 本稿では,MCTS の変種を利用した探索アルゴリズムについて述べる。1) 潜在的に有界な報酬を持つゲームに対する新たなアクション値正規化機構,2) 効果的な探索並列化を可能にする仮想損失関数の定義,3) 世代ごとのセルフプレイによって訓練されたポリシーネットワークについて述べる。
  論文  参考訳（メタデータ） (2020-05-22T18:02:36Z)
• Provable Self-Play Algorithms for Competitive Reinforcement Learning [48.12602400021397]
  我々はマルコフゲームの設定の下で、競争力強化学習における自己プレイについて研究する。 自己再生アルゴリズムは、ゲームのT$ステップをプレイした後、後悔の$tildemathcalO(sqrtT)$を達成する。 また, 最悪の場合においても, 時間内に実行可能であることを保証し, 若干悪い後悔を招き, エクスプロイトスタイルのアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-02-10T18:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。