Fugu-MT 論文翻訳(概要): Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning

論文の概要: Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning

arxiv url: http://arxiv.org/abs/2503.05042v1
Date: Thu, 06 Mar 2025 23:37:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-10 12:25:14.246758
Title: Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
Title（参考訳）: 最適自動整合強化学習のための確率的修正オートマタ埋め込み
Authors: Beyazit Yalcinkaya, Niklas Lauffer, Marcell Vazquez-Chanlatte, Sanjit A. Seshia,
Abstract要約: この研究は、オートマチック条件付きRL問題の理論的枠組みを提供し、おそらくほぼ正しい学習可能であることを示す。次に、最適マルチタスクポリシー学習を保証し、正当に正当な自動埋め込みを学習する手法を提案する。
参考スコア（独自算出の注目度）: 3.919457128111751
License:
Abstract: Automata-conditioned reinforcement learning (RL) has given promising results for learning multi-task policies capable of performing temporally extended objectives given at runtime, done by pretraining and freezing automata embeddings prior to training the downstream policy. However, no theoretical guarantees were given. This work provides a theoretical framework for the automata-conditioned RL problem and shows that it is probably approximately correct learnable. We then present a technique for learning provably correct automata embeddings, guaranteeing optimal multi-task policy learning. Our experimental evaluation confirms these theoretical results.
Abstract（参考訳）: オートマタ条件付き強化学習(RL)は、下流ポリシーをトレーニングする前にオートマタ埋め込みを事前訓練し凍結することにより実行時に時間的に拡張された目的を達成できるマルチタスクポリシーの学習に有望な結果を与えた。しかし、理論上の保証は与えられなかった。この研究は、オートマチック条件付きRL問題の理論的枠組みを提供し、おそらくほぼ正しい学習可能であることを示す。次に、最適マルチタスクポリシー学習を保証し、正当に正当な自動埋め込みを学習する手法を提案する。実験により, これらの理論的結果が確認された。

関連論文リスト

Sample Efficient Reinforcement Learning by Automatically Learning to Compose Subtasks [3.1594865504808944]
サブタスクを表すラベルのセットを与えられた場合、サンプル効率のために報酬関数を自動的に構成するRLアルゴリズムを提案する。我々は,様々なスパース・リワード環境におけるアルゴリズムの評価を行った。
論文参考訳（メタデータ） (2024-01-25T15:06:40Z)
Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文参考訳（メタデータ） (2023-10-23T17:50:08Z)
Reinforcement Learning with Foundation Priors: Let the Embodied Agent Efficiently Learn on Its Own [59.11934130045106]
我々は、政策、価値、成功-回帰基盤モデルからのガイダンスとフィードバックを活用するために、RLFP(Reinforcement Learning with Foundation Priors)を提案する。本フレームワークでは,自動報酬関数を用いてより効率的にエージェントを探索できるファウンデーション誘導型アクター・クリティカル(FAC)アルゴリズムを導入する。本手法は,実ロボットとシミュレーションの両方において,様々な操作タスクにおいて顕著な性能を実現する。
論文参考訳（メタデータ） (2023-10-04T07:56:42Z)
Reward-Machine-Guided, Self-Paced Reinforcement Learning [30.42334205249944]
報奨機による自己評価強化学習アルゴリズムを開発した。提案アルゴリズムは,既存のベースラインが意味のある進歩を達成できない場合でも,最適な動作を確実に達成する。また、カリキュラムの長さを減らし、カリキュラム生成プロセスのばらつきを最大4分の1まで減らします。
論文参考訳（メタデータ） (2023-05-25T22:13:37Z)
A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
論文参考訳（メタデータ） (2021-09-22T16:03:29Z)
Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文参考訳（メタデータ） (2021-06-14T18:48:40Z)
Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer [8.299945169799795]
本稿では,タスクのモジュール化と伝達学習の概念に基づいて,ハイパーアクタソフトアクタクリティカル(HASAC)RLフレームワークを開発し,検証する。 HASACフレームワークは、新しい仮想ロボット操作ベンチマークであるMeta-Worldでテストされている。数値実験により、HASACは、報酬値、成功率、タスク完了時間の観点から、最先端の深部RLアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2020-11-27T03:09:05Z)
Hyperparameter Auto-tuning in Self-Supervised Robotic Learning [12.193817049957733]
不十分な学習(局所最適収束による)は、冗長な学習が時間と資源を浪費する一方で、低パフォーマンスの政策をもたらす。自己教師付き強化学習のためのエビデンス下界(ELBO)に基づく自動チューニング手法を提案する。本手法は,オンラインで自動チューニングが可能であり,計算資源のごく一部で最高の性能が得られる。
論文参考訳（メタデータ） (2020-10-16T08:58:24Z)
Induction and Exploitation of Subgoal Automata for Reinforcement Learning [75.55324974788475]
本稿では,Regressed Learning (RL)タスクにおけるサブゴールの学習と活用のためのISAを提案する。 ISAは、タスクのサブゴールによってエッジがラベル付けされたオートマトンであるサブゴールオートマトンを誘導することで強化学習をインターリーブする。サブゴールオートマトンはまた、タスクの完了を示す状態と、タスクが成功せずに完了したことを示す状態の2つの特別な状態で構成されている。
論文参考訳（メタデータ） (2020-09-08T16:42:55Z)
Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。