論文の概要: Boosting deep Reinforcement Learning using pretraining with Logical Options

• arxiv url: http://arxiv.org/abs/2603.06565v1
• Date: Fri, 06 Mar 2026 18:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:46.40772
• Title: Boosting deep Reinforcement Learning using pretraining with Logical Options
• Title（参考訳）: 論理的オプションによる事前学習による深層強化学習の促進
• Authors: Zihan Ye, Phil Chau, Raban Emunds, Jannis Blüml, Cedric Derstroff, Quentin Delfosse, Oleg Arenz, Kristian Kersting,
• Abstract要約: ニューラルネットワークを用いた強化学習エージェントにシンボル構造を注入する2段階のフレームワークを提案する。 提案手法はHybrid Hierarchical RL (H2RL) と呼ばれ,論理的オプションに基づく事前学習戦略を導入する。 実験的に、このアプローチは長い水平決定を一貫して改善し、強い神経、象徴的、神経象徴的ベースラインより優れたエージェントを生み出すことが示される。
• 参考スコア（独自算出の注目度）: 30.559520450824152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep reinforcement learning agents are often misaligned, as they over-exploit early reward signals. Recently, several symbolic approaches have addressed these challenges by encoding sparse objectives along with aligned plans. However, purely symbolic architectures are complex to scale and difficult to apply to continuous settings. Hence, we propose a hybrid approach, inspired by humans' ability to acquire new skills. We use a two-stage framework that injects symbolic structure into neural-based reinforcement learning agents without sacrificing the expressivity of deep policies. Our method, called Hybrid Hierarchical RL (H^2RL), introduces a logical option-based pretraining strategy to steer the learning policy away from short-term reward loops and toward goal-directed behavior while allowing the final policy to be refined via standard environment interaction. Empirically, we show that this approach consistently improves long-horizon decision-making and yields agents that outperform strong neural, symbolic, and neuro-symbolic baselines.
• Abstract（参考訳）: 深い強化学習エージェントは、早期報酬シグナルを過度に暴露するため、しばしばミスアライメントされる。 近年,これらの課題に対して,計画の整合とともにスパース目標を符号化することで,いくつかのシンボリックなアプローチが試みられている。 しかし、純粋に象徴的なアーキテクチャはスケールが複雑であり、継続的な設定に適用することは困難である。 そこで我々は,人間の新しいスキル獲得能力に触発されたハイブリッドアプローチを提案する。 我々は、深層政策の表現性を犠牲にすることなく、ニューラルネットワークに基づく強化学習エージェントにシンボル構造を注入する2段階のフレームワークを使用する。 提案手法は,Hybrid Hierarchical RL (H^2RL) と呼ばれ,短期報酬ループから学習方針を制御し,目標指向行動へ向ける論理的オプションベースの事前学習戦略を導入し,最終方針を標準的な環境相互作用によって洗練させる。 実験的に、このアプローチは長い水平決定を一貫して改善し、強い神経、象徴的、神経象徴的ベースラインより優れたエージェントを生み出すことが示される。

関連論文リスト

• Zero-Shot Instruction Following in RL via Structured LTL Representations [50.41415009303967]
  マルチタスク強化学習では、エージェントが訓練中に見えない新しいタスクをゼロショットで実行しなければならない。 この設定では、最近、時間的に拡張された構造化タスクを特定するための強力なフレームワークとして線形時間論理が採用されている。 既存のアプローチはジェネラリストの政策を訓練することに成功しているが、仕様に固有のリッチな論理的・時間的構造を効果的に捉えるのに苦労することが多い。
  論文  参考訳（メタデータ） (2026-02-15T23:22:50Z)
• Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
  本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。 オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。 我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-01-06T09:28:53Z)
• Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks [3.79187263097166]
  長期の目標条件付きタスクの解決は、強化学習において重要な課題である。 Reinforcement Learning with Precipation(RLA)は、これらの制限に対処するために設計された、原則付き、潜在的にスケーラブルなフレームワークです。 RLAの主な特徴は予測モデルのトレーニングであり、これは値の幾何的一貫性の原則によって導かれる。
  論文  参考訳（メタデータ） (2025-09-06T00:10:15Z)
• BlendRL: A Framework for Merging Symbolic and Neural Policy Learning [23.854830898003726]
  BlendRLは、論理とニューラルポリシーの混合を使用するRLエージェントに両方のパラダイムを統合する、ニューラルシンボリックなRLフレームワークである。 我々は,BlendRLエージェントが標準アタリ環境において,ニューラルベースラインとシンボリックベースラインの両方より優れていることを実証的に実証した。 ニューラルポリシーとシンボリックポリシーの相互作用を分析し、それらのハイブリッド利用がエージェントの制限を克服するのにどのように役立つかを説明する。
  論文  参考訳（メタデータ） (2024-10-15T15:24:20Z)
• Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach [18.38878415765146]
  本稿では,ニューラル世界とシンボリック世界の両方の長所を生かした,説明可能な強化学習(DERRL)を提案する。 DERRLは、シンボリックプランニングからのリレーショナル表現と制約を深層学習と組み合わせて解釈可能なポリシーを抽出する。 これらのポリシーは、それぞれの決定(あるいは行動)がどのように到着するかを説明する論理的なルールの形式です。
  論文  参考訳（メタデータ） (2023-04-17T15:11:40Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。