論文の概要: Trajectory First: A Curriculum for Discovering Diverse Policies

• arxiv url: http://arxiv.org/abs/2506.01568v1
• Date: Mon, 02 Jun 2025 11:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.2974
• Title: Trajectory First: A Curriculum for Discovering Diverse Policies
• Title（参考訳）: 軌跡第一:多言語政策を解明するためのカリキュラム
• Authors: Cornelius V. Braun, Sayantan Auddy, Marc Toussaint,
• Abstract要約: 多様な方法でタスクを解くことができるため、エージェントはタスクのバリエーションに対してより堅牢になり、局所最適性が低下する。 多様なエージェントを並列に訓練する強力な強化学習フレームワークとして、制約付き多様性最適化が登場した。 ステップベースの政策を学習する前に,まず軌道レベルを探索するカリキュラムを提案する。
• 参考スコア（独自算出の注目度）: 17.315583101484147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Being able to solve a task in diverse ways makes agents more robust to task variations and less prone to local optima. In this context, constrained diversity optimization has emerged as a powerful reinforcement learning (RL) framework to train a diverse set of agents in parallel. However, existing constrained-diversity RL methods often under-explore in complex tasks such as robotic manipulation, leading to a lack in policy diversity. To improve diversity optimization in RL, we therefore propose a curriculum that first explores at the trajectory level before learning step-based policies. In our empirical evaluation, we provide novel insights into the shortcoming of skill-based diversity optimization, and demonstrate empirically that our curriculum improves the diversity of the learned skills.
• Abstract（参考訳）: 多様な方法でタスクを解くことができるため、エージェントはタスクのバリエーションに対してより堅牢になり、局所最適性が低下する。 この文脈において、制約付き多様性最適化は、多様なエージェントを並列に訓練するための強力な強化学習(RL)フレームワークとして登場した。 しかしながら、既存の制約付き多様性RL法は、ロボット操作のような複雑なタスクにおいて過小評価されることが多く、政策の多様性が欠如している。 RLにおける多様性の最適化を改善するために、ステップベースのポリシーを学ぶ前に、まず軌道レベルを探索するカリキュラムを提案する。 経験的評価では、スキルベースの多様性最適化の欠点に関する新たな洞察を提供し、カリキュラムが学習スキルの多様性を改善することを実証的に示す。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• Iteratively Learn Diverse Strategies with State Distance Information [18.509323383456707]
  複雑な強化学習問題では、同様の報酬を持つポリシーは、かなり異なる振る舞いを持つ可能性がある。 そこで本研究では, 多様性駆動型RLアルゴリズム, SIPO (State-based Intrinsic-Reward Policy Optimization) を開発した。
  論文  参考訳（メタデータ） (2023-10-23T02:41:34Z)
• IOB: Integrating Optimization Transfer and Behavior Transfer for Multi-Policy Reuse [50.90781542323258]
  強化学習(RL)エージェントは、ソースポリシーからの知識を関連する目標タスクに転送することができる。 従来手法では,階層的なポリシやソースポリシの値関数の見積など,新たなコンポーネントが導入されていた。 本稿では,余分なコンポーネントを訓練せずにソースポリシーを選択する新しい転送RL法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T09:22:35Z)
• Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning [14.16864939687988]
  環境を徹底的に探求し、新しい多様なスキルを学ぶ、一般的に有能なエージェントを訓練することは、ロボット学習の長期的な目標である。 品質多様性強化学習(QD-RL: Quality Diversity Reinforcement Learning)は、両分野の最高の側面をブレンドする新興研究分野である。
  論文  参考訳（メタデータ） (2023-05-23T08:05:59Z)
• Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery [12.586875201983778]
  深層強化学習(Deep Reinforcement Learning, RL)は、複雑な制御タスクを解決するために神経ポリシーをトレーニングするための強力なパラダイムとして登場した。 品質多様性(QD)手法は,スキル発見のための情報理論強化RLの代替手段であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T11:06:39Z)
• DGPO: Discovering Multiple Strategies with Diversity-Guided Policy Optimization [34.40615558867965]
  与えられたタスクを解決するための複数の戦略を探索するオンラインアルゴリズムを提案する。 以前の作業とは異なり、単一の実行でトレーニングされた共有ポリシネットワークでこれを実現する。 実験結果から,本手法は多種多様な強化学習課題における多様な戦略を効果的に発見できることが示唆された。
  論文  参考訳（メタデータ） (2022-07-12T15:57:55Z)
• Variational Empowerment as Representation Learning for Goal-Based Reinforcement Learning [114.07623388322048]
  本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。 我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
  論文  参考訳（メタデータ） (2021-06-02T18:12:26Z)
• Discovering Diverse Nearly Optimal Policies withSuccessor Features [30.144946007098852]
  強化学習では、多様なポリシーの集合が探索、移動、階層化、堅牢性に有用である。 本稿では,継承的特徴の空間において多種多様であるポリシーを発見する方法として,多元的継承政策を提案する。
  論文  参考訳（メタデータ） (2021-06-01T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。