論文の概要: Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.23726v1
• Date: Sun, 26 Jul 2026 15:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.211782
• Title: Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
• Title（参考訳）: 疎逆長軸強化学習のための階層型ソフトアクタークリティカル
• Abstract要約: 提案するフレームワークは,Search-and-Rescue-2データセットを用いてトレーニングおよび評価を行った。 HRL-SACは、遅延報酬と連続制御を特徴とするスパース逆ロングホライゾン探索問題に効果的に対処する。 これらの結果から, 階層的エントロピー規則化政策は, 長期スパルス・リワード強化学習の課題に対処する上で有望な解決法であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exploration in sparse-reward long-horizon tasks poses significant challenges for reinforcement learning. To address these challenges, we propose a two-level Hierarchical Reinforcement Learning (HRL) framework. The first level handles high-level strategic planning, while the low-level uses the continuous-control Soft Actor-Critic (SAC) algorithm, and they utilize entropy-regularized policy optimization. The proposed framework was trained and evaluated using the Search-and-Rescue-2 (SAR-2) dataset. HRL-SAC effectively addresses sparse-reward long-horizon search problems characterized by delayed rewards and continuous control, and its outperforming the flat SAC baseline reinforcement learning in terms of success rates, coverage efficiency, and convergence. These findings indicate that hierarchical entropy-regularized policies are a promising solution to tackle long-horizon sparse-reward reinforcement learning tasks.
• Abstract（参考訳）: スパース・リワード・ロングホライゾン・タスクの探索は、強化学習にとって大きな課題となる。 これらの課題に対処するため,我々は2段階の階層強化学習(HRL)フレームワークを提案する。 第1レベルは高レベルの戦略計画を扱う一方、低レベルは連続制御型ソフトアクター・クリティカル(SAC)アルゴリズムを使用し、エントロピー規則化されたポリシー最適化を利用する。 提案するフレームワークは,Search-and-Rescue-2(SAR-2)データセットを用いてトレーニングおよび評価を行った。 HRL-SACは、遅延報酬と連続制御を特徴とするスパース逆ロングホライゾン探索問題に効果的に対処し、その成功率、カバレッジ効率、収束率の点で平坦なSACベースライン強化学習より優れている。 これらの結果から, 階層的エントロピー規則化政策は, 長期スパルス・リワード強化学習の課題に対処するための有望な解決法であることが示唆された。

関連論文リスト

• QoS-Aware Hierarchical Reinforcement Learning for Joint Link Selection and Trajectory Optimization in SAGIN-Supported UAV Mobility Management [52.15690855486153]
  宇宙空間統合ネットワーク (SAGIN) がユビキタスUAV接続を実現するための重要なアーキテクチャとして登場した。 本稿では,SAGINにおけるUAVモビリティ管理を制約付き多目的関節最適化問題として定式化する。
  論文  参考訳（メタデータ） (2025-12-17T06:22:46Z)
• Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks [3.79187263097166]
  長期の目標条件付きタスクの解決は、強化学習において重要な課題である。 Reinforcement Learning with Precipation(RLA)は、これらの制限に対処するために設計された、原則付き、潜在的にスケーラブルなフレームワークです。 RLAの主な特徴は予測モデルのトレーニングであり、これは値の幾何的一貫性の原則によって導かれる。
  論文  参考訳（メタデータ） (2025-09-06T00:10:15Z)
• Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
  強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。 解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
  論文  参考訳（メタデータ） (2025-09-03T18:52:49Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• Divide and Conquer: Grounding LLMs as Efficient Decision-Making Agents via Offline Hierarchical Reinforcement Learning [32.260964481673085]
  大規模言語モデル(LLM)は、不十分な探索と長期クレジット割り当てのために、長期的な意思決定タスクに苦しむ。 本稿では, LLMポリシーにパラメータ効率が高く, 一般に適用可能な階層構造を導入する, 革新的なフレームワークを提案する。 我々は,低レベル制御器を抽象的なステップバイステップ計画で制御し,高レベル制御器で学習・指導する手法を開発した。
  論文  参考訳（メタデータ） (2025-05-26T09:43:40Z)
• Direct Preference Optimization for Primitive-Enabled Hierarchical Reinforcement Learning [75.9729413703531]
  DIPPERは階層的な政策学習を二段階最適化問題として定式化する新しいHRLフレームワークである。 DIPPERは、スパース報酬シナリオにおいて、最先端のベースラインよりも最大40%改善されていることを示す。
  論文  参考訳（メタデータ） (2024-11-01T04:58:40Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• Efficient Learning of High Level Plans from Play [57.29562823883257]
  本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。 ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
  論文  参考訳（メタデータ） (2023-03-16T20:09:47Z)
• HAC Explore: Accelerating Exploration with Hierarchical Reinforcement Learning [8.889563735540696]
  HAC Explore (HACx) は、ランダムネットワーク蒸留法(RND)を階層的アプローチである階層的アクター・クリティカル法(HAC)に組み合わせた新しい手法である。 HACxは1000以上のアクションを必要とするスパース報酬の連続制御タスクを解決する最初のRL手法である。
  論文  参考訳（メタデータ） (2021-08-12T17:42:12Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。