論文の概要: Generalising Discrete Action Spaces with Conditional Action Trees

• arxiv url: http://arxiv.org/abs/2104.07294v1
• Date: Thu, 15 Apr 2021 08:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 02:25:03.585226
• Title: Generalising Discrete Action Spaces with Conditional Action Trees
• Title（参考訳）: 条件付き作用木による離散作用空間の一般化
• Authors: Christopher Bamford, Alvaro Ovalle
• Abstract要約: 条件付きアクションツリーを2つの主な目的で紹介します。 離散的なアクション空間を持つ環境から、RTSスタイルのゲームでよく見られる大きなアクション空間を持つ環境まで、いくつかの概念実証実験を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are relatively few conventions followed in reinforcement learning (RL) environments to structure the action spaces. As a consequence the application of RL algorithms to tasks with large action spaces with multiple components require additional effort to adjust to different formats. In this paper we introduce {\em Conditional Action Trees} with two main objectives: (1) as a method of structuring action spaces in RL to generalise across several action space specifications, and (2) to formalise a process to significantly reduce the action space by decomposing it into multiple sub-spaces, favoring a multi-staged decision making approach. We show several proof-of-concept experiments validating our scheme, ranging from environments with basic discrete action spaces to those with large combinatorial action spaces commonly found in RTS-style games.
• Abstract（参考訳）: アクション空間を構築するための強化学習(RL)環境には、それに続く規則が比較的少ない。 その結果、RLアルゴリズムを複数のコンポーネントを持つ大きなアクション空間を持つタスクに適用するには、異なるフォーマットに適応するための追加の労力が必要である。 本稿では,(1)rlにおけるアクション空間の構成法として,(2)複数のアクション空間仕様を一般化する手法,(2)アクション空間を複数のサブ空間に分解し,多段階意思決定アプローチを好むことによって,アクション空間を著しく削減するプロセスを定式化する手法,という2つの主な目的について紹介する。 本手法を検証したいくつかの概念実証実験を,rts型ゲームでよく見られるような,基本離散型アクション空間の環境から,大きな組合せ型アクション空間の環境まで紹介する。

関連論文リスト

• Offline Reinforcement Learning With Combinatorial Action Spaces [12.904199719046968]
  強化学習問題はしばしば、複数のサブアクションの同時実行によって生じる大きなアクション空間を伴う。 サブアクションの依存関係を効果的に把握し,各タイミングで少数のアクションのみを評価することを学習することで,大規模空間にスケールする分岐値推定(BVE)を提案する。 実験の結果,BVEは動作空間の幅にまたがって最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T15:49:46Z)
• Solving Continual Offline RL through Selective Weights Activation on Aligned Spaces [52.649077293256795]
  連続オフライン強化学習(CORL)は拡散に基づく生涯学習システムにおいて顕著な能力を示した。 本稿では,Vector-Quantized Continual diffuser(VQ-CD)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T07:13:45Z)
• In-Context Reinforcement Learning for Variable Action Spaces [46.29510499540938]
  Headless-ADは、可変サイズ、セマンティックコンテンツ、順序の離散的なアクション空間に一般化することができる。 我々は、ヘッドレスADは、これまでに遭遇したことのないアクション空間に一般化する重要な能力を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-20T16:58:55Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• AI planning in the imagination: High-level planning on learned abstract search spaces [68.75684174531962]
  我々は,エージェントが訓練中に学習する抽象的な検索空間において,エージェントが計画することを可能にする,PiZeroと呼ばれる新しい手法を提案する。 本研究では,旅行セールスマン問題,ソコバン問題,2048年,施設立地問題,パックマン問題など,複数の分野で評価を行った。
  論文  参考訳（メタデータ） (2023-08-16T22:47:16Z)
• Dynamic Neighborhood Construction for Structured Large Discrete Action Spaces [2.285821277711785]
  大規模離散行動空間(LDAS)は、強化学習における中心的な課題である。 既存のソリューションアプローチでは、最大数百万のアクションで非構造化LDASを処理できる。 本研究では, SLDAS の新たな活用パラダイムである Dynamic Neighborhood Construction (DNC) を提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:26:14Z)
• Adaptive Discretization using Voronoi Trees for Continuous-Action POMDPs [7.713622698801596]
  我々は,Voronoi Trees (ADVT) を用いた適応離散化(Adaptive Discretization)と呼ばれる新しいサンプリングベースのオンラインPOMDPソルバを提案する。 ADVTはモンテカルロ木探索とアクション空間の適応的な離散化と楽観的な最適化を併用する。 4種類のベンチマーク問題のシミュレーション実験により、ADVTは高次元連続行動空間よりも優れ、スケールがかなり優れていることが示されている。
  論文  参考訳（メタデータ） (2022-09-13T05:04:49Z)
• Graph Convolutional Module for Temporal Action Localization in Videos [142.5947904572949]
  アクション・ユニット間の関係は、アクション・ローカライゼーションにおいて重要な役割を果たすと主張する。 より強力なアクション検出器は、各アクションユニットの局所的な内容をキャプチャするだけでなく、関連するコンテキストに関する広い視野を許容するべきである。 本稿では,既存の動作ローカライズ手法に簡単にプラグイン可能な汎用グラフ畳み込みモジュール(GCM)を提案する。
  論文  参考訳（メタデータ） (2021-12-01T06:36:59Z)
• Reinforcement Learning in Factored Action Spaces using Tensor Decompositions [92.05556163518999]
  本稿では, テンソル分解を用いた大規模因子化行動空間における強化学習(RL)のための新しい解を提案する。 我々は,協調型マルチエージェント強化学習シナリオを模範として用いた。
  論文  参考訳（メタデータ） (2021-10-27T15:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。