論文の概要: HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.18080v1
• Date: Tue, 28 May 2024 11:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:58:39.213880
• Title: HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning
• Title（参考訳）: HarmoDT:オフライン強化学習のための高調波マルチタスク決定変換器
• Authors: Shengchao Hu, Ziqing Fan, Li Shen, Ya Zhang, Yanfeng Wang, Dacheng Tao,
• Abstract要約: 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
• 参考スコア（独自算出の注目度）: 72.25707314772254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The purpose of offline multi-task reinforcement learning (MTRL) is to develop a unified policy applicable to diverse tasks without the need for online environmental interaction. Recent advancements approach this through sequence modeling, leveraging the Transformer architecture's scalability and the benefits of parameter sharing to exploit task similarities. However, variations in task content and complexity pose significant challenges in policy formulation, necessitating judicious parameter sharing and management of conflicting gradients for optimal policy performance. In this work, we introduce the Harmony Multi-Task Decision Transformer (HarmoDT), a novel solution designed to identify an optimal harmony subspace of parameters for each task. We approach this as a bi-level optimization problem, employing a meta-learning framework that leverages gradient-based techniques. The upper level of this framework is dedicated to learning a task-specific mask that delineates the harmony subspace, while the inner level focuses on updating parameters to enhance the overall performance of the unified policy. Empirical evaluations on a series of benchmarks demonstrate the superiority of HarmoDT, verifying the effectiveness of our approach.
• Abstract（参考訳）: オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 近年の進歩は、Transformerアーキテクチャのスケーラビリティと、タスク類似性を活用するためにパラメータ共有の利点を活用する、シーケンスモデリングによるアプローチである。 しかし、タスクの内容と複雑さの変化は、ポリシーの定式化、司法パラメータの共有、および最適な政策性能のための矛盾する勾配の管理に重大な課題をもたらす。 本研究では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 我々はこれを二段階最適化問題としてアプローチし、勾配に基づく手法を利用したメタラーニングフレームワークを用いる。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。 一連のベンチマークにおける実証的な評価は、HarmoDTの優位性を示し、我々のアプローチの有効性を検証する。

関連論文リスト

• A CMDP-within-online framework for Meta-Safe Reinforcement Learning [23.57318558833378]
  CMDP-within-onlineフレームワークを用いたメタセーフ強化学習(Meta-SRL)の課題について検討する。 我々は,勾配に基づくメタ学習を用いて,目に見えない(最適性ギャップ)と制約違反に対する平均的後悔境界を求める。 本稿では,タスク内最適性ギャップと制約違反の上限において,不正確なオンライン学習を行うメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-26T15:28:42Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Stepsize Learning for Policy Gradient Methods in Contextual Markov Decision Processes [35.889129338603446]
  ポリシーに基づくアルゴリズムは、モデルフリーRLにおいて最も広く採用されている手法の一つである。 彼らは、一連の不均一なタスクを達成するように頼まれたときに苦労する傾向があります。 メタMDPと呼ばれる新しい定式化を導入し、RLにおける任意のハイパーパラメータ選択問題を解くのに使うことができる。
  論文  参考訳（メタデータ） (2023-06-13T12:58:12Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• PaCo: Parameter-Compositional Multi-Task Reinforcement Learning [44.43196786555784]
  これらの課題に対処するために,パラメータ合成アプローチ(PaCo)を導入する。 すべての単一タスクに対するポリシーはこの部分空間にあり、学習された集合と補間することで構成できる。 メタワールドベンチマークの最先端性能を実証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-10-21T01:00:10Z)
• Learning Robust State Abstractions for Hidden-Parameter Block MDPs [55.31018404591743]
  我々は、ブロックMDPにインスパイアされた堅牢な状態抽象化を実現するために、HiP-MDP設定からの共通構造の概念を活用する。 マルチタスク強化学習 (MTRL) とメタ強化学習 (Meta-RL) の両方のための新しいフレームワークのインスタンス化を導出する。
  論文  参考訳（メタデータ） (2020-07-14T17:25:27Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。