論文の概要: Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2109.10900v1
• Date: Wed, 22 Sep 2021 17:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:39:31.385456
• Title: Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines
• Title（参考訳）: 量子ボルツマンマシンを用いたマルチエージェント強化学習に向けて
• Authors: Tobias M\"uller, Christoph Roch, Kyrill Schmid and Philipp Altmann
• Abstract要約: 我々は、より困難な問題を解決するために、オリジナルの概念の拡張を提案する。 我々は、経験的なリプレイバッファを追加し、ターゲットとポリシーの値を近似するために異なるネットワークを使用します。 量子サンプリングは、強化学習タスクには有望な方法であることが証明されているが、現在はQPUサイズによって制限されている。
• 参考スコア（独自算出の注目度）: 2.015864965523243
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reinforcement learning has driven impressive advances in machine learning. Simultaneously, quantum-enhanced machine learning algorithms using quantum annealing underlie heavy developments. Recently, a multi-agent reinforcement learning (MARL) architecture combining both paradigms has been proposed. This novel algorithm, which utilizes Quantum Boltzmann Machines (QBMs) for Q-value approximation has outperformed regular deep reinforcement learning in terms of time-steps needed to converge. However, this algorithm was restricted to single-agent and small 2x2 multi-agent grid domains. In this work, we propose an extension to the original concept in order to solve more challenging problems. Similar to classic DQNs, we add an experience replay buffer and use different networks for approximating the target and policy values. The experimental results show that learning becomes more stable and enables agents to find optimal policies in grid-domains with higher complexity. Additionally, we assess how parameter sharing influences the agents behavior in multi-agent domains. Quantum sampling proves to be a promising method for reinforcement learning tasks, but is currently limited by the QPU size and therefore by the size of the input and Boltzmann machine.
• Abstract（参考訳）: 強化学習は機械学習の素晴らしい進歩をもたらした。 同時に、量子アニールを用いた量子強化機械学習アルゴリズムは、大きな発展をもたらす。 近年,両パラダイムを組み合わせたマルチエージェント強化学習(MARL)アーキテクチャが提案されている。 Q値近似にQuantum Boltzmann Machines (QBMs) を用いるこのアルゴリズムは、収束に必要な時間ステップにおいて、通常の深い強化学習よりも優れている。 しかし、このアルゴリズムはシングルエージェントと小さな2x2マルチエージェントグリッドドメインに限定されていた。 本研究では,より困難な問題を解決するために,原概念の拡張を提案する。 従来のdqnsと同様に、エクスペリエンスリプレイバッファを追加し、ターゲットとポリシー値の近似に異なるネットワークを使用します。 実験の結果,学習の安定性が向上し,エージェントがより複雑なグリッドドメインで最適なポリシーを見つけることができることがわかった。 さらに,パラメータ共有がエージェントの動作に与える影響を評価する。 量子サンプリングは強化学習タスクの有望な方法であることが証明されているが、現在qpuのサイズと入力およびボルツマンマシンのサイズによって制限されている。

関連論文リスト

• A Matrix Product State Model for Simultaneous Classification and Generation [0.8192907805418583]
  量子機械学習(Quantum Machine Learning, QML)は、量子コンピューティングの原理と機械学習の技法を融合させる、急速に拡大する分野である。 本稿では,MPSが分類器と生成器の両方として機能する新しい行列積状態(MPS)モデルを提案する。 我々のコントリビューションは、生成タスクのためのテンソルネットワークメソッドのメカニズムに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-25T10:23:36Z)
• Quantum Multi-Agent Reinforcement Learning for Aerial Ad-hoc Networks [0.19791587637442667]
  本稿では,航空通信のユースケースを提示し,それを解くためのハイブリッド量子古典型MLアルゴリズムを提案する。 その結果,古典的アルゴリズムに匹敵する量子化解の性能はわずかに向上した。 これらの有望な結果は、産業関連複雑なユースケースに対するQMARLの可能性を示している。
  論文  参考訳（メタデータ） (2024-04-26T15:57:06Z)
• Quantum Subroutine for Variance Estimation: Algorithmic Design and Applications [80.04533958880862]
  量子コンピューティングは、アルゴリズムを設計する新しい方法の基礎となる。 どの場の量子スピードアップが達成できるかという新たな課題が生じる。 量子サブルーチンの設計は、従来のサブルーチンよりも効率的で、新しい強力な量子アルゴリズムに固い柱を向ける。
  論文  参考訳（メタデータ） (2024-02-26T09:32:07Z)
• Multi-Agent Quantum Reinforcement Learning using Evolutionary Optimization [7.305065320738301]
  我々は、勾配のない量子強化学習のための既存のアプローチを構築し、マルチエージェント強化学習のための変分量子回路を用いた3つの遺伝的バリエーションを提案する。 我々は、トレーニング可能なパラメータの量に類似したニューラルネットワークと比較して、変動量子回路のアプローチが大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T17:45:32Z)
• Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning [13.060023718506917]
  模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。 本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。 本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
  論文  参考訳（メタデータ） (2023-10-10T17:11:20Z)
• Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
  本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。 この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2022-04-18T21:45:13Z)
• MQBench: Towards Reproducible and Deployable Model Quantization Benchmark [53.12623958951738]
  MQBenchは、モデル量子化アルゴリズムの評価、分析、およびデプロイ可能性のベンチマークを行う最初の試みである。 我々は、CPU、GPU、ASIC、DSPを含む実世界のデプロイのための複数のプラットフォームを選択し、最先端の量子化アルゴリズムを評価する。 包括的な分析を行い、直感的、直感的、あるいは反直感的な洞察を見出す。
  論文  参考訳（メタデータ） (2021-11-05T23:38:44Z)
• Quantum Reinforcement Learning: the Maze problem [11.240669509034298]
  量子領域に強化学習という古典的な概念を一般化した新しいQMLモデルを導入する。 特に,このアイデアを迷路問題に適用し,迷路から逃れるためにはエージェントが最適な行動集合を学習しなければならない。 エージェントは古典的および量子的状態の両方において最適な戦略を学習し、ノイズの多い環境下での動作についても検討する。
  論文  参考訳（メタデータ） (2021-08-10T07:49:58Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。