論文の概要: Learning from Less: Guiding Deep Reinforcement Learning with Differentiable Symbolic Planning
- arxiv url: http://arxiv.org/abs/2505.11661v1
- Date: Fri, 16 May 2025 19:52:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.768276
- Title: Learning from Less: Guiding Deep Reinforcement Learning with Differentiable Symbolic Planning
- Title（参考訳）: 教訓から学ぶ: 異なるシンボルプランニングによる深層強化学習の指導
- Authors: Zihan Ye, Oleg Arenz, Kristian Kersting,
- Abstract要約: 本稿では,記号計画を強化学習に統合する新しいフレームワークとして,識別可能な記号プランナ(Dylan)を提案する。
ディランは報酬を動的に形作る報酬モデルとして、人間の優先順位を活用し、中間のサブタスクを通してエージェントを誘導する。
実験により、DylanはRLエージェントの性能を大幅に改善し、未確認タスクへの一般化を容易にすることが示された。
- 参考スコア（独自算出の注目度）: 24.5494630312364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When tackling complex problems, humans naturally break them down into smaller, manageable subtasks and adjust their initial plans based on observations. For instance, if you want to make coffee at a friend's place, you might initially plan to grab coffee beans, go to the coffee machine, and pour them into the machine. Upon noticing that the machine is full, you would skip the initial steps and proceed directly to brewing. In stark contrast, state of the art reinforcement learners, such as Proximal Policy Optimization (PPO), lack such prior knowledge and therefore require significantly more training steps to exhibit comparable adaptive behavior. Thus, a central research question arises: \textit{How can we enable reinforcement learning (RL) agents to have similar ``human priors'', allowing the agent to learn with fewer training interactions?} To address this challenge, we propose differentiable symbolic planner (Dylan), a novel framework that integrates symbolic planning into Reinforcement Learning. Dylan serves as a reward model that dynamically shapes rewards by leveraging human priors, guiding agents through intermediate subtasks, thus enabling more efficient exploration. Beyond reward shaping, Dylan can work as a high level planner that composes primitive policies to generate new behaviors while avoiding common symbolic planner pitfalls such as infinite execution loops. Our experimental evaluations demonstrate that Dylan significantly improves RL agents' performance and facilitates generalization to unseen tasks.
- Abstract（参考訳）: 複雑な問題に取り組むとき、人間は自然にそれらを小さく管理可能なサブタスクに分解し、観察に基づいて初期計画を調整する。
例えば、友人の家でコーヒーを作りたい場合、最初はコーヒー豆を飲み、コーヒーマシンに行き、それを機械に注ぐ計画があるかもしれません。
マシンが満杯であることに気付くと、最初のステップをスキップして、直接醸造に進む。
対照的に、PPO(Proximal Policy Optimization)のような最先端の強化学習者は、そのような事前知識を欠いているため、同等の適応行動を示すために、はるかに多くの訓練手順を必要とする。
このように、中心的な研究課題が生じる: \textit{How can enable reinforcement learning (RL) agent to have similar `` human priors'', allowing the agent to learn with less training interaction?
この課題に対処するため,我々は,シンボルプランニングを強化学習に統合する新しいフレームワークである識別可能なシンボルプランナー(Dylan)を提案する。
ディランは報酬を動的に形作る報酬モデルとして機能し、人間の優先順位を活用し、中間のサブタスクを通してエージェントを誘導し、より効率的な探索を可能にする。
報酬形成以外にも、Dylanは、無限実行ループのような共通のシンボリックプランナーの落とし穴を避けながら、新しい振る舞いを生成するプリミティブポリシーを構成する、ハイレベルプランナーとして機能する。
実験により、DylanはRLエージェントの性能を大幅に改善し、未確認タスクへの一般化を容易にすることが示された。
関連論文リスト
- SPIRE: Synergistic Planning, Imitation, and Reinforcement Learning for Long-Horizon Manipulation [58.14969377419633]
タスクをより小さな学習サブプロブレムに分解し、第2に模倣と強化学習を組み合わせてその強みを最大化するシステムであるspireを提案する。
我々は、模倣学習、強化学習、計画を統合する従来の手法よりも平均タスク性能が35%から50%向上していることを発見した。
論文 参考訳（メタデータ） (2024-10-23T17:42:07Z) - MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint [36.970138281579686]
階層的強化学習(HRL)は、タスクをサブゴールに分割し、それらを順次完了させる階層的枠組みを使用する。
現在の手法は、安定した学習プロセスを保証するための適切なサブゴールを見つけるのに苦労している。
本稿では,人間のフィードバックとダイナミック距離制約を取り入れた汎用階層型強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T03:11:09Z) - REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。
近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。
本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
論文 参考訳（メタデータ） (2023-12-22T04:56:37Z) - PEAR: Primitive Enabled Adaptive Relabeling for Boosting Hierarchical Reinforcement Learning [25.84621883831624]
階層的強化学習(HRL)は、時間的抽象化と探索の増大により、複雑な長い地平線タスクを解く可能性がある。
プリミティブ・アダプティブ・アダプティブ・レバーベリング(PEAR)を提案する。
まず,いくつかの専門家による実験を適応的に実施し,効率的なサブゴール管理を実現する。
次に、強化学習(RL)と模倣学習(IL)を併用してHRLエージェントを共同最適化する。
論文 参考訳（メタデータ） (2023-06-10T09:41:30Z) - Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。
適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。
実験の結果,提案手法は従来よりも30%向上していることがわかった。
論文 参考訳（メタデータ） (2022-05-16T14:30:11Z) - PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via
Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。
提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
論文 参考訳（メタデータ） (2021-06-09T14:10:50Z) - Room Clearance with Feudal Hierarchical Reinforcement Learning [2.867517731896504]
本稿では,RL研究を軍事分析に有用な方向に進めるためのシナリオ構築ツールとして,新しいシミュレーション環境「it」を紹介した。
そこでは、青いエージェントのチームが建物を通り抜け、すべての部屋が敵のレッドエージェントから取り除かれるようにしなければなりません。
封建的階層型RLのマルチエージェント版を実装し、より上位の指揮官が命令を下級の複数のエージェントに送信するコマンド階層を導入する。
このような方法でタスクを壊すことで、私たちはそれを可能にすることに気付きました。
論文 参考訳（メタデータ） (2021-05-24T15:05:58Z) - Subgoal-based Reward Shaping to Improve Efficiency in Reinforcement
Learning [7.6146285961466]
我々は、ポテンシャルベース報酬形成を拡張し、サブゴールベース報酬形成を提案する。
我々の手法は,人間の訓練者がサブゴールの知識を共有するのを容易にする。
論文 参考訳（メタデータ） (2021-04-13T14:28:48Z) - Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。
限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。
シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
論文 参考訳（メタデータ） (2020-12-12T20:06:15Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。
本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。
ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文 参考訳（メタデータ） (2020-07-23T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。