論文の概要: Regularized Soft Actor-Critic for Behavior Transfer Learning

• arxiv url: http://arxiv.org/abs/2209.13224v1
• Date: Tue, 27 Sep 2022 07:52:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 16:00:29.419680
• Title: Regularized Soft Actor-Critic for Behavior Transfer Learning
• Title（参考訳）: 行動伝達学習のための正規化ソフトアクタークリティカル
• Authors: Mingxi Tan, Andong Tian, Ludovic Denoyer
• Abstract要約: 既存の模倣学習手法は主に、エージェントを実演行動に効果的に模倣することに焦点を当てている。 本稿では,主課題と模倣課題を定式化する正則化ソフトアクター・クライト法を提案する。 ビデオゲームアプリケーションに関連する連続制御タスクについて,本手法の評価を行った。
• 参考スコア（独自算出の注目度）: 10.519534498340482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing imitation learning methods mainly focus on making an agent effectively mimic a demonstrated behavior, but do not address the potential contradiction between the behavior style and the objective of a task. There is a general lack of efficient methods that allow an agent to partially imitate a demonstrated behavior to varying degrees, while completing the main objective of a task. In this paper we propose a method called Regularized Soft Actor-Critic which formulates the main task and the imitation task under the Constrained Markov Decision Process framework (CMDP). The main task is defined as the maximum entropy objective used in Soft Actor-Critic (SAC) and the imitation task is defined as a constraint. We evaluate our method on continuous control tasks relevant to video games applications.
• Abstract（参考訳）: 既存の模倣学習手法は主に、エージェントを効果的に動作を模倣することに焦点を当てるが、行動スタイルとタスクの目的との潜在的な矛盾には対処しない。 エージェントがタスクの主な目的を完了しながら、実証された動作をある程度まで部分的に模倣できる効率的な方法が一般的に欠如している。 本稿では,CMDP (Constrained Markov Decision Process framework) において,主タスクと模倣タスクを定式化する正則化ソフトアクター・クリティカル法を提案する。 メインタスクは、Soft Actor-Critic (SAC)で使用される最大エントロピー目標として定義され、模倣タスクは制約として定義される。 本手法は,ゲームアプリケーションに関連する連続制御タスクについて評価する。

関連論文リスト

• Guided Reinforcement Learning for Robust Multi-Contact Loco-Manipulation [12.377289165111028]
  強化学習(Reinforcement Learning, RL)は、各タスクに合わせた細かなマルコフ決定プロセス(MDP)設計を必要とすることが多い。 本研究は,マルチコンタクトロコ操作タスクの動作合成と制御に対する体系的アプローチを提案する。 モデルベース軌道から生成されたタスク毎の1つの実演のみを用いて,RLポリシーを訓練するためのタスク非依存のMDPを定義する。
  論文  参考訳（メタデータ） (2024-10-17T17:46:27Z)
• Active Fine-Tuning of Generalist Policies [54.65568433408307]
  AMF(Active Multi-task Fine-tuning)を提案する。 我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
  論文  参考訳（メタデータ） (2024-10-07T13:26:36Z)
• Code Models are Zero-shot Precondition Reasoners [83.8561159080672]
  シーケンシャルな意思決定タスクのために、コード表現を使ってアクションの前提条件を推論します。 本稿では,政策によって予測される行動が前提条件と一致していることを保証する事前条件対応行動サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-16T06:19:27Z)
• On the Value of Myopic Behavior in Policy Reuse [67.37788288093299]
  未知のシナリオで学習戦略を活用することは、人間の知性の基本である。 本稿では,Selectivemyopic bEhavior Control(SMEC)というフレームワークを提案する。 SMECは、事前ポリシーの共有可能な短期的行動とタスクポリシーの長期的行動を適応的に集約し、協調的な決定につながる。
  論文  参考訳（メタデータ） (2023-05-28T03:59:37Z)
• Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration [68.94506047556412]
  本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。 本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
  論文  参考訳（メタデータ） (2022-11-09T10:28:40Z)
• Direct Behavior Specification via Constrained Reinforcement Learning [12.679780444702573]
  CMDPは、一連の行動制約を順守しながら、ゴールベースのタスクを解決するように適応することができる。 ビデオゲームにおけるNPC設計のための強化学習の適用に関連する一連の連続制御タスクについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2021-12-22T21:12:28Z)
• Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
  強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。 多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。 本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。 本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:50:42Z)
• Domain-Robust Visual Imitation Learning with Mutual Information Constraints [0.0]
  Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。 本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2021-03-08T21:18:58Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。