論文の概要: Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.02993v1
- Date: Tue, 04 Aug 2026 01:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.985354
- Title: Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning
- Title（参考訳）: 高度階層的強化学習のためのインクリメンタル知識を用いたニューロシンボリック推論
- Abstract要約: 本稿では,インクリメンタル・ナレッジ(インクリメンタル・ナレッジ)を用いたニューロシンボリックHRLを提案し,現在のインクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメンタル・インクリメント)の表現にエム・シンボリック・プランニング(エム
ナビゲーションタスクの実験では、InKを組み込むことでサンプル効率が大幅に向上することを示した。
- 参考スコア（独自算出の注目度）: 3.224547255825731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: (Flat) Reinforcement Learning (RL) agents face significant challenges in environments with sparse rewards that require long-horizon reasoning. A compelling approach to improve sample efficiency is to incorporate knowledge into learning and decision-making. In standard Hierarchical RL (HRL), knowledge is encoded in a fixed, non-updatable form, such as architectural choices, and remains unchanged throughout learning. With fixed HRL, reasoning with incremental knowledge learned during exploration is impractical before sufficient environmental knowledge is acquired, leading to poor sample efficiency. In this work, we propose neurosymbolic HRL with {\em Incremental Knowledge (InK)}: symbolic high-level components perform {\em symbolic planning} (e.g. using $D^*$) on an updatable representation of current InK, while low-level goal-conditioned neural modules learn motion primitives through experience using reward shaping. Experiments on navigation tasks demonstrate that incorporating InK substantially improves sample efficiency. Additionally, to perform {\em optimal} symbolic planning given {\em prior} knowledge about the world, we develop Belief World Tree Search. The code is available at https://github.com/CPS-research-group/ink_bwts.
- Abstract（参考訳）: (Flat)
強化学習 (Reinforcement Learning, RL) エージェントは, 長期的推論を必要とする粗末な報酬を伴う環境において, 重大な課題に直面している。
サンプル効率を改善するための魅力的なアプローチは、知識を学習と意思決定に取り入れることである。
標準的な階層的RL(HRL)では、知識はアーキテクチャの選択のような固定された非更新可能な形式で符号化され、学習を通して変化しない。
固定されたHRLでは、十分な環境知識を得る前に、探索中に学習した漸進的な知識による推論は非現実的であり、サンプル効率が低下する。
本研究は,ニューロシンボリック HRL with {\em Incremental Knowledge (InK): symbolic high-level components perform {\em symbolic planning} (例:$D^*$) on a updatable representation of current InK, while low-level goal-conditioned neural module learn Motion primitives through experience through reward shaping。
ナビゲーションタスクの実験では、InKを組み込むことでサンプル効率が大幅に向上することを示した。
さらに,世界に関する知識を与えられた記号的計画を実行するために,世界樹探索を開発する。
コードはhttps://github.com/CPS-research-group/ink_bwtsで公開されている。
関連論文リスト
- SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning [83.98129545309277]
生経験と政策改善のギャップを埋めるフレームワークであるSkillRLを提案する。
本手法では,階層型スキルライブラリであるSkillBankを構築するために,経験に基づく蒸留機構を導入する。
ALF、WebShop、および7つの検索強化タスクの実験結果は、SkillRLが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-09T03:17:17Z) - Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。
オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。
我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2026-01-06T09:28:53Z) - Right for the Right Reasons: Avoiding Reasoning Shortcuts via Prototypical Neurosymbolic AI [6.518655316889539]
ニューロシンボリックAIは、ニューラル認知とシンボリック推論を組み合わせる能力によって人気が高まっている。
本稿では,その根本原因における推論ショートカットに対処し,原型的ニューロシンボリックアーキテクチャを導入する。
本研究は, 安全かつ信頼性の高いニューロシンボリックラーニングのための, 効果的な, アノテーション効率の戦略として, プロトタイプグラウンド化の道を開くものである。
論文 参考訳（メタデータ） (2025-10-29T13:21:28Z) - Agentic Episodic Control [16.94652073521156]
強化学習(RL)は、ゲームプレイから科学的発見、AIアライメントに至るまで、AIのブレークスルーを推進してきた。
近年の進歩は、豊かな世界知識と推論能力を持つ大規模言語モデルが、意味的状態モデリングとタスクに依存しない計画を可能にすることで、RLを補完する可能性があることを示唆している。
本稿では,RLを大規模言語モデルと統合して意思決定を促進する新しいアーキテクチャであるエージェント・エピソディクス・コントロール(AEC)を提案する。
論文 参考訳（メタデータ） (2025-06-02T08:57:37Z) - Synthesizing Evolving Symbolic Representations for Autonomous Systems [2.4233709516962785]
本稿では,その経験をスクラッチからPDDL表現に合成し,時間とともに更新できるオープンエンド学習システムを提案する。
a)選択肢を発見する、(b)選択肢を使って環境を探索する、(c)収集した知識を抽象化する、(d)計画。
論文 参考訳（メタデータ） (2024-09-18T07:23:26Z) - SHIRE: Enhancing Sample Efficiency using Human Intuition in REinforcement Learning [11.304750795377657]
確率的図形モデル(PGM)を用いた人間の直観を符号化するフレームワークShireを提案する。
ShiREは、評価対象環境の25～78%のサンプル効率を、無視可能なオーバーヘッドコストで達成します。
論文 参考訳（メタデータ） (2024-09-16T04:46:22Z) - A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges [51.699348215510575]
強化学習(Reinforcement Learning, RL)は、インテリジェントエージェントが環境と対話して長期的な目標を達成する、一般的な機械学習パラダイムである。
励ましの結果にもかかわらず、ディープニューラルネットワークベースのバックボーンは、専門家が高いセキュリティと信頼性が不可欠である現実的なシナリオにおいて、訓練されたエージェントを信頼し、採用することを妨げるブラックボックスとして広く見なされている。
この問題を緩和するために、本質的な解釈可能性やポストホックな説明可能性を構築することにより、知的エージェントの内部動作に光を放つための大量の文献が提案されている。
論文 参考訳（メタデータ） (2022-11-12T13:52:06Z) - Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。
本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。
NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-05-25T12:41:59Z) - Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
論文 参考訳（メタデータ） (2022-05-04T01:27:36Z) - Closed Loop Neural-Symbolic Learning via Integrating Neural Perception,
Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。
我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。
本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-11T17:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。