論文の概要: Managing Action Preconditions in Neuro-Symbolic RL: Three Placement Strategies for Embodied Agents

• arxiv url: http://arxiv.org/abs/2609.16056v1
• Date: Sun, 13 Sep 2026 06:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.116625
• Title: Managing Action Preconditions in Neuro-Symbolic RL: Three Placement Strategies for Embodied Agents
• Title（参考訳）: ニューロシンボリックRLの投与前条件:3つの実施方法
• Abstract要約: ニューロシンボリックRLは、学習ポリシーとともにシンボル的知識を注入することで、事前知識とRLを橋渡しする。 エージェントの言語行動に関するプレコンディションベイズネットワーク(BN)として、この行動知識を定式化する。 ソリューションの品質、サンプル効率、トレーサビリティの強いベースラインと比較する。
• 参考スコア（独自算出の注目度）: 6.842950981122435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans carry behaviour knowledge of how to act in familiar situations into every new task rather than relearning it from scratch. There is no reason a Reinforcement Learning (RL) agent shouldn't do the same: known behaviour patterns need not be learned, only applied. Neuro-symbolic RL bridges prior knowledge and RL by injecting symbolic knowledge alongside a learned policy. The point at which this knowledge is integrated is critical: a poor choice can produce, for instance, hallucinated preconditions, which surface as safety and reliability problems in agents acting in changing environments. We formalise this behavioural knowledge as a precondition Bayesian network (BN) over the agent's \emph{structural actions} - the actions whose legality depends on preconditions, such as picking up a key, grasping a block, toggling a door, or dropping an object. The BN restricts when these actions may fire, and we inject it into the RL loop at three placements: (1) a \emph{symbolic verifier}, consulted only at inference, that fires a structural action once its preconditions hold; (2) a \emph{symbolic enforcer}, active during both training and inference, that governs structural-action use throughout learning; and (3) a \emph{symbolic learner}, which folds the knowledge into the network and learns the restriction and use of structural actions itself. To test the three variants we run experiments on two benchmarks with opposite regimes: one built on long, ordered planning chains, the other on continuous manipulation. We compare against strong baselines on solution quality, sample efficiency, and traceability. The payoff is substantial. On MiniGrid, all three placements improve the \emph{solution quality} over the PPO+RND baseline, the symbolic enforcer leading at $98.2\%$ against the baseline's $88.8\%$. On Fetch, $\dots$
• Abstract（参考訳）: 人間は、慣れ親しんだ状況でどのように振る舞うかの振る舞いに関する知識を、スクラッチから再学習するのではなく、あらゆる新しいタスクに持っていく。 強化学習(RL)エージェントが同じことをする必要はない理由はない。 ニューロシンボリックRLは、学習ポリシーとともにシンボル的知識を注入することで、事前知識とRLを橋渡しする。 例えば、環境の変化にかかわるエージェントの安全性と信頼性の問題として表される、幻覚された前提条件を生成できる。 我々は、この行動知識をエージェントの「emph{structureural action」よりもプレコンディションベイズ的ネットワーク(BN)として定式化し、キーの拾い上げ、ブロックの握り、ドアの引き抜き、オブジェクトの落としたりといったプリコンディションに依存しているアクションを定式化する。 BN はこれらの作用が発火しうる場合に制限し、(1) 前提条件が成立すれば構造的アクションを発射する、(1) 前提条件が満たされたら構造的アクションを発射する、(2) 学習を通して構造的アクションの使用を統括する、(2) 学習を通して構造的アクションの使用を統括する、(2) ネットワークに知識を折り畳み構造的アクション自体の制限と使用を学習する、という3つの配置で RL ループに注入する。 3つの変種をテストするために、私たちは2つのベンチマークで、反対のシステマティクスで実験を行いました。 ソリューションの品質、サンプル効率、トレーサビリティの強いベースラインと比較する。 給料は相当だ。 MiniGridでは、3つの配置でPPO+RNDベースラインよりも「emph{solution quality}」が改善され、9,8.2\%がベースラインの8.8\%がベースラインの9,8.2\%がリードする。 Fetch, $\dots$

関連論文リスト

• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• AutoResearch-RL: Perpetual Self-Evaluating Reinforcement Learning Agents for Autonomous Neural Architecture Discovery [5.110708177092157]
  本稿では、強化学習エージェントが人間の監督なしにオープンエンドニューラルネットワーク研究を行うためのフレームワークであるAutoResearch-RLを提案する。 我々はこれをマルコフ決定過程として定式化し、軽微な仮定の下で収束保証を導出し、1つのGPUナノチャット事前学習ベンチマークで経験的に実証する。
  論文  参考訳（メタデータ） (2026-03-07T17:49:44Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• CLAUSE: Agentic Neuro-Symbolic Knowledge Graph Reasoning via Dynamic Learnable Context Engineering [47.77119771502664]
  CLAUSEは,文脈構築を知識グラフ上の逐次決定プロセスとして扱うエージェント型3エージェントニューロシンボリックフレームワークである。 CLAUSEは提案したLagrangian-Constrained Multi-Agent Proximal Policy Optimization (LC-MAPPO)アルゴリズムを用いて、サブグラフアーキテクト、パスナビゲータ、コンテキストキュレーターの3つのエージェントを調整する。 HotpotQA、MetaQA、FactKG全体では、CLAUSEはより高いEM@1を得られると同時に、トークン予算が等しく低い場合のサブグラフの成長とエンドツーエンドのレイテンシを低減する。
  論文  参考訳（メタデータ） (2025-09-25T11:43:08Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)
• Reasoning as an Adaptive Defense for Safety [44.78731851555853]
  私たちは、$textitTARS$(安全のための適応推論器の訓練)というレシピを構築します。 我々は、チェーンオブソートトレースと、タスク完了と安全のバランスをとる報奨信号を用いて、安全性について推論するモデルを訓練する。 我々の研究は,lLMをジェイルブレイクや有害な要求に対して,プロンプトごとに推論することで,効果的かつオープンなレシピを提供する。
  論文  参考訳（メタデータ） (2025-07-01T17:20:04Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
  我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。 提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:20:29Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。