論文の概要: Q-Shaped Options for Hierarchical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.12135v1
• Date: Thu, 08 Oct 2026 15:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.116367
• Title: Q-Shaped Options for Hierarchical Reinforcement Learning
• Title（参考訳）: 階層型強化学習のためのQ字型オプション
• Abstract要約: 階層強化学習(HRL)は、行動(時間)と状態(空間)の抽象的相互作用を通じて課題に対処する。 動作抽象化のための3つのデシラタに対応するために,Q-Shaped Options (QSO)を導入する。 QSOは、異なる状態値関数、Q関数、階層のそれぞれのレベルにおけるポリシーを持つアーキテクチャの上に構築される。 それぞれのQ関数によって形作られた共有エンコーダとして、連続レベル間のアクション抽象化を学習する。
• 参考スコア（独自算出の注目度）: 4.4203706614979446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to tackle long-horizon, goal-conditioned tasks requires an agent to reason over extended timescales and act across a broad range of states. In principle, Hierarchical Reinforcement Learning (HRL) addresses both challenges through the interaction between action (temporal) and state (spatial) abstraction. First, using an action abstraction to represent temporally extended behaviour as options reduces the effective decision horizon. Second, enabling different state abstractions at each level of the decision process permits greater data aggregation for learning. However, realising these two benefits of a hierarchical policy depends on learning an appropriate action abstraction. Current HRL algorithms fail in one of two ways. Some discard distinctions between options needed for optimal control, undermining hierarchy altogether. Others retain unnecessary distinctions, preserving horizon reduction, but forfeiting coarser state abstraction. In this work, we characterise three desiderata for an action abstraction. We introduce Q-Shaped Options (QSO) to address all three. QSO builds on an architecture with distinct state-value functions, Q functions and policies at each level of the hierarchy. It learns the action abstraction between consecutive levels as a shared encoder shaped by their respective Q functions. The low-level Q function uses the option as a goal, encouraging the abstraction to retain distinctions necessary for optimal control. The high-level Q function uses it as an action, encouraging unnecessary distinctions to be discarded. Across offline goal-conditioned locomotion and manipulation environments, QSO learns semantically meaningful option spaces and outperforms baselines, achieving non-zero performance in tasks where all other evaluated algorithms fail.
• Abstract（参考訳）: 長期的、ゴール条件付きタスクに取り組むためには、エージェントが拡張された時間スケールを推論し、幅広い州で行動する必要がある。 原則として階層強化学習(HRL)は、行動(時間)と状態(空間)の抽象的相互作用を通じて、両方の課題に対処する。 まず、オプションとして時間的に拡張された振る舞いを表現するためにアクション抽象化を使用すると、効果的な決定の地平線が減少する。 第二に、決定プロセスの各レベルで異なる状態抽象化を可能にすることで、学習のためのより大きなデータアグリゲーションが可能になる。 しかしながら、階層的なポリシーのこれらの2つの利点を実現するには、適切なアクション抽象化を学ぶ必要がある。 現在のHRLアルゴリズムは、2つの方法の1つで失敗する。 最適制御に必要なオプションの区別を捨て、階層性を損なうものもあります。 余計な区別を保ち、地平線を小さくするが、粗い状態の抽象化を禁止している。 本稿では,アクション抽象化のための3つのデシラタを特徴付ける。 3つすべてに対応するために、Q-Shaped Options (QSO)を導入します。 QSOは、異なる状態値関数、Q関数、階層のそれぞれのレベルにおけるポリシーを持つアーキテクチャの上に構築される。 それぞれのQ関数によって形作られた共有エンコーダとして、連続レベル間のアクション抽象化を学習する。 低レベルのQ関数はこのオプションを目標として使用し、最適制御に必要な区別を維持するよう抽象化を奨励する。 高レベルQ関数は、それをアクションとして使用し、不要な区別を破棄することを奨励する。 オフラインの目標条件付きロコモーションと操作環境全体で、QSOは意味論的に意味のあるオプション空間を学び、ベースラインを上回り、他のすべての評価アルゴリズムが失敗するタスクにおいてゼロではないパフォーマンスを達成する。

関連論文リスト

• Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents [11.62792424787974]
  階層的強化学習は、永続的なサブゴールを取り巻く原始的な行動を整理することによって、長期の水平制御を改善する。 最近の階層型言語エージェントは、アクション実行からサブゴール計画を明確に分離することで、これらの利点を対話的なタスクにもたらす。 しかしながら、明示的な階層は、結果として生じる時間的抽象がどれほど安定であるかをそれ自体が決定しない。
  論文  参考訳（メタデータ） (2026-10-04T19:25:27Z)
• SparkVLA: Stop-Aware Hierarchical VLA with Adaptive Action Chunking for Long-Horizon Manipulation [1.3399367433453182]
  本稿では,両決定を単一ランキングとして定式化することで相互依存を解消する,停止対応階層型VLAであるSparkVLAを提案する。 RoboCerebraでは、SparkVLAが47.12%の成功率を記録し、公式階層ベースラインを30.57%、再現可能なメソッドを26.83%上回った。
  論文  参考訳（メタデータ） (2026-08-17T06:43:11Z)
• Switching Successor Measures for Hierarchical Zero-shot Reinforcement Learning [49.24483784910263]
  我々は、強化学習における階層的制御を可能にする後継尺度である切替後継尺度を導入する。 後継策の切り替えは,その構造を保ちながら,古典的後継措置から自然に生じることを示す。 FB$-Switchは非階層的ベースラインよりも改善されている。
  論文  参考訳（メタデータ） (2026-05-13T08:58:33Z)
• Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions [11.572333300040619]
  本稿では,複数のアクション提案を生成し,最も高いQ値を選択するアクタアーキテクチャであるSAVOを紹介する。 我々は,制限された移動,器用な操作,大規模な離散行動空間レコメンダシステムなどのタスクを評価する。
  論文  参考訳（メタデータ） (2024-10-15T17:58:03Z)
• A Provably Efficient Option-Based Algorithm for both High-Level and Low-Level Learning [54.20447310988282]
  異なる(高低と高低の)時間的抽象化において,後悔最小化アルゴリズムのメタアルゴリズムを交互に提案する。 高いレベルでは、半マルコフ決定プロセス(SMDP)として、固定された低レベルポリシーで、低いレベルでは内部オプションポリシーを固定された高レベルポリシーで学習する。
  論文  参考訳（メタデータ） (2024-06-21T13:17:33Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• The Paradox of Choice: Using Attention in Hierarchical Reinforcement Learning [59.777127897688594]
  サブゴールオプションのさらなる学習に使用できる、オンラインでモデルフリーなアルゴリズムを提案する。 訓練データ収集におけるハード・ソフト・アテンションの役割,長期的タスクにおける抽象的価値学習,および多数の選択肢に対する対処について検討する。
  論文  参考訳（メタデータ） (2022-01-24T13:18:02Z)
• Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning [120.38381203153159]
  強化学習は、複雑なタスクを効果的に実行するポリシーを訓練することができる。 長期のタスクでは、これらのメソッドのパフォーマンスは水平線とともに劣化し、しばしば推論と下層のスキルの構築を必要とします。 そこで我々は,各下層スキルに対応する値関数を用いて,そのような表現を生成するシンプルな手法として,値関数空間を提案する。
  論文  参考訳（メタデータ） (2021-11-04T22:46:16Z)
• Hierarchical Reinforcement Learning By Discovering Intrinsic Options [18.041140234312934]
  HIDIOは、タスク非依存の選択肢を自己指導的に学習し、それらを共同で学習してスパース・リワードのタスクを解く。 スパース・リワードロボット操作およびナビゲーションタスクの実験において、HIDIOはより高いサンプル効率で高い成功率を達成する。
  論文  参考訳（メタデータ） (2021-01-16T20:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。