論文の概要: Tractable Reinforcement Learning for Full Class of Signal Temporal Logic Specifications Using Spatiotemporal Tube Reward

• arxiv url: http://arxiv.org/abs/2609.28396v1
• Date: Wed, 23 Sep 2026 17:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.129358
• Title: Tractable Reinforcement Learning for Full Class of Signal Temporal Logic Specifications Using Spatiotemporal Tube Reward
• Title（参考訳）: 時空間管逆流を用いた信号時間論理の完全クラスのためのトラクタブル強化学習
• Abstract要約: 本稿では,未知の力学と厳密なアクチュエータ制限の下で動作するロボットシステムの制御問題に対処する。 Signal Temporal Logic (STL) を用いたこれらの高レベル仕様を示す。 時空間管(STT)の幾何学的特性を利用した時空間強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.8619748472447968
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper addresses the control problem for robotic systems, including non-holonomic and underactuated platforms operating under unknown dynamics and strict actuator limits to satisfy complex high-level specifications. We denote these high-level specifications using Signal Temporal Logic (STL) and propose a novel time-aware Reinforcement Learning (RL) framework that leverages the geometric properties of Spatiotemporal Tubes (STTs). While traditional analytical STT controllers often struggle to enforce input constraints, and existing RL approaches rely on memory-intensive state history, our method natively overcomes both limitations. By mapping the logical and temporal complexities of the full class of STL into time-varying geometric boundaries, we directly constrain the multidimensional system state without relying on scalar robustness metrics. Augmenting the state space with time, we train a time-aware Soft Actor-Critic (SAC) agent using a continuous, geometry-aware reward function that eliminates the need to explicitly evaluate complex logical semantics during execution. The proposed framework offers a history-free, computationally efficient approach to learn continuous control policies that ensure robust satisfaction of specifications while strictly adhering to system input constraints.
• Abstract（参考訳）: 本稿では,未知の力学の下で動作する非ホロノミック・不動プラットフォームや,複雑な高レベル仕様を満たすための厳密なアクチュエータ制限を含む,ロボットシステムの制御問題に対処する。 本稿では,これらの高レベル仕様をSTL(Signal Temporal Logic)を用いて記述し,時空間管(STT)の幾何学的特性を利用した新しい時間認識強化学習(RL)フレームワークを提案する。 従来の解析的STTコントローラは入力制約を強制するのに苦労することが多く、既存のRLアプローチはメモリ集約状態履歴に依存するが、本手法は両方の制約をネイティブに克服する。 STLの全クラスの論理的・時間的複雑さを時変幾何学的境界にマッピングすることにより、スカラーロバストネスの指標に頼ることなく、多次元系の状態を直接的に制約する。 時間とともに状態空間を増大させることで、実行中に複雑な論理的意味論を明示的に評価する必要がなくなるような、連続的な幾何認識報酬関数を用いて、時間を考慮したソフトアクター・クリティカル(SAC)エージェントを訓練する。 提案フレームワークは, システム入力制約を厳格に遵守しつつ, 仕様の堅牢な満足度を確保するために, 連続制御ポリシーを学習するための履歴のない, 計算的に効率的なアプローチを提供する。

関連論文リスト

• Reward Machines for Signal Temporal Logic [17.49671322104596]
  信号時相論理(STL)は、実数値観測のリアルタイム特性を特定するための形式言語を提供する。 事前の作業では、強化学習(RL)の報酬としてSTLロバストネススコアを使用して、与えられた仕様を満たす制御ポリシーを取得する。 この研究は、RLフレームワークに適した効率的なメモリ機構と関連するマルコフ報酬を提供する、新しいオートマタベースのアプローチを導入している。
  論文  参考訳（メタデータ） (2026-08-13T04:25:07Z)
• SGA-MCTS: Decoupling Planning from Execution via Training-Free Atomic Experience Retrieval [74.1918709002557]
  我々は, LLM計画を非パラメトリック検索として活用するフレームワークである textbfSGA-MCTS を紹介する。 オンラインでは、検索増強剤は、関連するステート-ゴール-アクション原子を取得するために、ハイブリッドシンボリック-セマンティック機構を使用する。 SGA-MCTSは、探索の重い計算コストを効果的に減らし、System 1推論速度におけるシステム2推論の深さを達成し、スケーラブルかつリアルタイムに自律的な計画が実現可能である。
  論文  参考訳（メタデータ） (2026-04-16T07:22:36Z)
• Shielded Reinforcement Learning Under Dynamic Temporal Logic Constraints [0.0]
  強化学習(Reinforcement Learning, RL)は、様々なロボティクスアプリケーションにおいて有望であるが、安全性と運用上の制約により、実際のシステムへの展開は制限されている。 本稿では,逐次制御障壁関数とモデルフリーRLを利用して,学習プロセスを通じて与えられたタスクが満足されることを保証するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-17T21:29:50Z)
• Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks [96.60530830276281]
  RuleSafeは、スケーラブルなLLM支援シミュレーションフレームワーク上に構築された、新しいオペレーティングベンチマークである。 VQ-Memoryはベクトル量子化変分オートエンコーダを用いたコンパクトで構造化された時間表現である。
  論文  参考訳（メタデータ） (2026-03-10T11:13:54Z)
• Zero-Shot Instruction Following in RL via Structured LTL Representations [50.41415009303967]
  マルチタスク強化学習では、エージェントが訓練中に見えない新しいタスクをゼロショットで実行しなければならない。 この設定では、最近、時間的に拡張された構造化タスクを特定するための強力なフレームワークとして線形時間論理が採用されている。 既存のアプローチはジェネラリストの政策を訓練することに成功しているが、仕様に固有のリッチな論理的・時間的構造を効果的に捉えるのに苦労することが多い。
  論文  参考訳（メタデータ） (2026-02-15T23:22:50Z)
• DeepLTL: Learning to Efficiently Satisfy Complex LTL Specifications for Multi-Task RL [59.01527054553122]
  線形時間論理(LTL)は、最近、複雑で時間的に拡張されたタスクを特定するための強力なフォーマリズムとして採用されている。 既存のアプローチにはいくつかの欠点がある。 これらの問題に対処するための新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T21:30:38Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Funnel-based Reward Shaping for Signal Temporal Logic Tasks in Reinforcement Learning [0.0]
  本稿では,STL(Signal Temporal Logic)仕様を適用した制御器を学習するために,抽出可能な強化学習アルゴリズムを提案する。 異なる環境を用いた複数のSTLタスクに対して,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-30T19:38:21Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。