論文の概要: Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

• arxiv url: http://arxiv.org/abs/2606.08312v1
• Date: Sat, 06 Jun 2026 19:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.037766
• Title: Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies
• Title（参考訳）: 自己回帰型強化学習法におけるLTLf制約の神経-サイバリック注入
• Authors: Ashkan Ansarifard, Matteo Mancanelli, Elena Umili, Fabio Patrizi,
• Abstract要約: 有限トレース(LTLf)上での線形時間論理で表される時間的拡張タスク制約の下でのオフライン強化学習(RL)について検討する。 本稿では,そのようなトランスフォーマーに基づくRLポリシーに背景知識を注入するニューロシンボリックフレームワークを提案する。 実験結果から,背景知識を取り入れることで制約満足度が向上するだけでなく,競争的リターンも維持できることがわかった。
• 参考スコア（独自算出の注目度）: 5.081811811279625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we study offline reinforcement learning (RL) under temporally extended task constraints expressed in Linear Temporal Logic over finite traces (LTLf). Recently, transformer-based approaches such as Trajectory Transformers and Decision Transformers have been adopted to address RL as a sequence modeling problem. However, these methods optimize purely for reward and do not account for high-level temporal requirements. Here, we introduce a neurosymbolic framework that injects LTLf background knowledge into such transformer-based RL policies. Our approach compiles LTLf formulas into deterministic finite automata (DFAs) and integrates them into the learning process through a differentiable representation and a logic-based loss function. In particular, we derive differentiable satisfaction signals from DFA progression and use them as a regularization term during training. The resulting method is architecture-agnostic across different models. We evaluate the proposed framework on navigation environments with specification suites covering combinations of safety and reachability temporal properties. Experimental results show that incorporating background knowledge not only improves constraint satisfaction, but also maintains competitive return compared to vanilla baselines.
• Abstract（参考訳）: 本研究では,有限トレース(LTLf)上での線形時間論理で表される時間的拡張タスク制約下でのオフライン強化学習(RL)について検討する。 近年、RLをシーケンスモデリング問題として扱うために、トラジェクトリ変換器や決定変換器などのトランスフォーマーベースのアプローチが採用されている。 しかし、これらの手法は報酬を純粋に最適化し、高レベルの時間的要求を考慮しない。 本稿では,LTLfの背景知識をトランスフォーマーベースのRLポリシーに注入するニューロシンボリックフレームワークを提案する。 提案手法は, LTLf式を決定論的有限オートマトン(DFAs)にコンパイルし, 微分可能表現と論理に基づく損失関数を用いて学習プロセスに統合する。 特に、DFA進行から識別可能な満足度信号を導出し、トレーニング中の正規化用語として使用する。 結果として得られる方法は、異なるモデル間でアーキテクチャに依存しない。 安全と到達可能性の時間的特性の組み合わせを網羅した仕様スイートを用いて,ナビゲーション環境における提案フレームワークの評価を行った。 実験結果から,背景知識を取り入れることで制約満足度が向上するだけでなく,バニラベースラインに比べて競合リターンが維持されることがわかった。

関連論文リスト

• Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement [23.24714915251971]
  コンテクスト内強化学習を行う変換器の能力について検討する。 線形自己注意変換器ブロックは、ポリシー改善手法を確実に実装できることを示す。 ICRL文献における最初の収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-07T06:50:49Z)
• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning [7.811937592466619]
  時相論理仕様条件決定変換器(SDT)を提案する。 SDTは信号時間論理の表現力を利用して、エージェントが従うべき複雑な時間規則を指定する。 DSRLベンチマークの実証的な評価は、安全かつ高いリワードポリシーを学ぶ上で、SDTの優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-27T05:16:59Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Neuromorphic Architecture for Reinforcement Learning from Real-Valued Observations [0.34410212782758043]
  強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。 本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-07-06T12:33:34Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。