論文の概要: Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.03395v1
• Date: Fri, 02 Oct 2026 14:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.428864
• Title: Bidirectional Voronoi-biased Exploration Curriculum for Reinforcement Learning
• Title（参考訳）: 強化学習のための双方向ボロノイバイアス探索カリキュラム
• Abstract要約: 強化学習のための双方向ボロノイバイアス探索カリキュラム(BVER) 双方向RRT計画にインスパイアされたBVERは、初期状態分布から目標と目標から外側に開始状態を成長させる。 点質量迷路、四足歩行、ロボットアームのリング・オン・ペグ・トランスファーでは、BVERは比較した基準のないカリキュラムよりも速く学習する。
• 参考スコア（独自算出の注目度）: 7.254696518352216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon tasks with sparse rewards pose an exploration bottleneck for goal-conditioned reinforcement learning: a policy started from the initial state rarely reaches the goal and receives no learning signal. Reference motions, hand-designed curricula, and shaped rewards supply this signal but require demonstrations or task-specific engineering; automatic start-state and goal curricula avoid this but typically expand from one side only, so the full distance to the target must be covered from that side. We propose the Bidirectional Voronoi-biased Exploration curriculum for Reinforcement learning (BVER), which expands from both ends at once. Inspired by bidirectional RRT planning, BVER grows start states outward from the goal and goals outward from the initial state distribution, biases both toward unexplored task space, and steers them toward each other, training one goal-conditioned policy on both. On point-mass mazes, quadrupedal box climbing, and robot-arm ring-on-peg transfer, BVER learns faster than all compared reference-free curricula. On box climbing, it reaches 95% success on a 0.4 m box in roughly 65% fewer iterations than the best of them, is the only one of them to learn to climb a 0.7 m box, and yields a policy robust to start, goal, and yaw variation. Without a demonstration, it approaches the sample efficiency of reference-based curricula on the 0.4 m box and on ring-on-peg transfer. Ablations show that expanding from both ends outperforms either direction alone.
• Abstract（参考訳）: 目標条件付き強化学習の探索ボトルネックとして,報酬の少ない長期的タスクは,初期状態から開始されたポリシが目標に到達せず,学習信号も受け取らないという,目標条件付き強化学習の探索ボトルネックを生じさせる。 参照動作、手書きのキュリキュラ、形状の報酬は、この信号を供給するが、デモンストレーションやタスク固有のエンジニアリングを必要とする。 両端から同時に拡大する強化学習のための双方向ボロノイバイアス探索カリキュラム(BVER)を提案する。 双方向RRT計画にインスパイアされたBVERは、初期状態分布から外向きの目標と目標からスタートステートを成長させ、未探索のタスク空間へのバイアスを発生させ、両方に対して目標条件付きポリシーをトレーニングする。 点質量迷路、四足歩行、ロボットアームのリング・オン・ペグ・トランスファーでは、BVERは比較した基準のないカリキュラムよりも速く学習する。 ボックスクライミングでは、0.4mボックスで95%成功し、最高点の約65%のイテレーションで成功し、0.7mボックスに登り、スタート、ゴール、ヨーの変動に対して堅牢なポリシーをもたらすのは彼らの中で唯一である。 実演なしでは、0.4mボックスとリング・オン・ペグ転送の基準ベースのキュリキュラのサンプル効率に近づいた。 アブレーションにより、両端からの膨張はどちらの方向よりも優れていることが示されている。

関連論文リスト

• ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning [16.640420524594443]
  我々はChronoSRLを導入し、批評家の埋め込みを時間幾何学的に明示する。 状態アクションとゴール埋め込みの間の距離は、エージェントがゴールに到達するのに要する時間と一致するように訓練される。 我々は、生存強化学習に基づいて、目標達成時間の完全な分布だけでなく、目標に近い時間も予測する。
  論文  参考訳（メタデータ） (2026-09-28T20:32:51Z)
• CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving [0.0]
  コーラルは5段階のカリキュラムであり、経路を徐々に延長し、行動制約を厳しくする。 同じ100-150mのルートで68-98%のエピソードが成功し、平均側方偏差は0.35m以下である。
  論文  参考訳（メタデータ） (2026-08-14T14:22:05Z)
• Autonomous state-space segmentation for Deep-RL sparse reward scenarios [0.30693357740321775]
  内在的モチベーションは、ディープラーニング学習アルゴリズムの学習を支援する効果的な方法になり得る。 探索と自律的なサブゴール生成の「本質的な」段階を交互に行う2段階アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-04T13:06:23Z)
• It Takes Four to Tango: Multiagent Selfplay for Automatic Curriculum Generation [107.10235120286352]
  汎用強化学習エージェントを効率的に訓練するには、ゴールカリキュラムの自動生成が必要である。 自動ゴール生成フレームワークCuSPを提案する。 本手法は,様々な制御タスクに対して,効率的な目標のカリキュラムを生成するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-22T01:23:23Z)
• Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning [64.97599673479678]
  ランドマークによる階層的強化学習(HIGL)について紹介する。 HIGLは、ランドマークでガイドされたアクションスペースを削減した、ハイレベルなポリシーをトレーニングするための新しいフレームワークである。 我々の実験は、我々のフレームワークが様々な制御タスクで先行技術より優れていることを示した。
  論文  参考訳（メタデータ） (2021-10-26T12:16:19Z)
• Adversarial Intrinsic Motivation for Reinforcement Learning [60.322878138199364]
  政策状態の訪問分布と目標分布とのワッサースタイン-1距離が強化学習タスクに有効に活用できるかどうかを検討する。 我々のアプローチは、AIM (Adversarial Intrinsic Motivation) と呼ばれ、このワッサーシュタイン-1距離をその双対目的を通して推定し、補足報酬関数を計算する。
  論文  参考訳（メタデータ） (2021-05-27T17:51:34Z)
• Learning to Generalize Across Long-Horizon Tasks from Human Demonstrations [52.696205074092006]
  Generalization Through Imitation (GTI) は、2段階のオフライン模倣学習アルゴリズムである。 GTIは、状態空間の共通領域で異なるタスクの軌道を示す構造を利用する。 GTIの第1段階では,異なる実演軌跡から行動を構成する能力を持つために交差点を利用する政策を訓練する。 GTIの第2段階では、ゴール指向エージェントをトレーニングして、新しいスタートとゴールの設定を一般化する。
  論文  参考訳（メタデータ） (2020-03-13T02:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。