論文の概要: Ensuring Logic in the Fog: Sound POMDP Synthesis with LTL Objectives
- arxiv url: http://arxiv.org/abs/2605.12581v1
- Date: Tue, 12 May 2026 15:46:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:25.955623
- Title: Ensuring Logic in the Fog: Sound POMDP Synthesis with LTL Objectives
- Title（参考訳）: LTLオブジェクトを用いた音波POMDP合成
- Abstract要約: LTL(Linear Temporal Logic)は、そのようなタスクを指定するための厳密な言語である。
本稿では,このギャップを新しい音響報酬形成機構で埋める。
このメカニズムを強化されたモンテカルロ計画フレームワークに統合することにより、エージェントに部分観測可能性の霧をナビゲートする権限を与える。
- 参考スコア（独自算出の注目度）: 9.094127664014627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthesising autonomous agents that can navigate uncertain environments while adhering to complex temporal constraints remains a fundamental challenge. While Linear Temporal Logic (LTL) provides a rigorous language for specifying such tasks, the inherent undecidability of qualitatively verifying LTL satisfaction in partially observable Markov decision processes renders quantitative synthesis difficult, especially when designing reliable reward signals for approximate solvers. In this paper, we bridge this gap with a novel, sound reward-shaping mechanism that dynamically generates belief-dependent rewards grounded in certified LTL satisfaction. By integrating this mechanism into an enhanced Monte Carlo Planning framework, we empower agents to navigate the `fog' of partial observability with a search process focused on maximising verifiable success. Our experiments demonstrate that this approach not only thrives in scenarios where existing solvers fail but also maintains effectiveness and scalability across diverse benchmark domains.
- Abstract（参考訳）: 複雑な時間的制約に固執しながら、不確実な環境をナビゲートできる自律エージェントの合成は、根本的な課題である。
LTL(Linear Temporal Logic)はそのようなタスクを特定するための厳密な言語を提供するが、部分的に観測可能なマルコフ決定プロセスにおけるLTLの満足度を質的に検証する固有の不決定性は、特に近似解法のための信頼性の高い報酬信号の設計において、定量的合成を困難にしている。
本稿では,このギャップを,認定LTL満足度に基づく信念依存報酬を動的に生成する,新しい音響報酬形成機構で埋める。
このメカニズムを強化されたモンテカルロ計画フレームワークに統合することにより、エージェントは、検証可能な成功の最大化に焦点を当てた探索プロセスを用いて、部分観測可能性の「霧」をナビゲートできる。
我々の実験は、既存のソルバがフェールするシナリオだけでなく、様々なベンチマークドメインにおける効率性とスケーラビリティも維持できることを示した。
関連論文リスト
- Causal Reward World Models: Zero-shot Reward Design for Automated Skill Generation [23.371552518874807]
Automated Reward Design (ARD)は、強化学習における手動報酬工学を言語駆動報酬関数合成に置き換えることを目的としている。
大規模言語モデル(LLM)に基づく既存のアプローチは、特定のタスクごとに報酬仮説を洗練させるために反復的な環境フィードバックに依存し、本質的に相関駆動である。
マルチタスクインタラクションデータに基づくオフライン事前学習により,候補の報酬成分とタスク対象の物理変数の因果関係を明示的にモデル化する因果関係世界モデル(CRWM)を提案する。
論文 参考訳（メタデータ） (2026-06-22T12:57:17Z) - HyperLens: Quantifying Cognitive Effort in LLMs with Fine-grained Confidence Trajectory [10.351595331564353]
トランスアーキテクチャにおける本質的な拡大機構を同定する。
本稿では,信頼軌道の追跡を目的とした高分解能プローブHyperLensを紹介する。
データセット全体にわたって、HyperLensは、複雑なタスクと単純なタスクを分離する信頼性トラジェクトリの一貫性の相違を明らかにしている。
論文 参考訳（メタデータ） (2026-05-07T06:32:57Z) - Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。
本稿では,再構築による理解という,新しいパラダイムを提案する。
マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-11T09:23:20Z) - daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently [35.39097522391409]
大規模言語モデル(LLM)は短期的なタスクで優れており、それらを長期のエージェント合成に拡張することは依然として困難である。
本稿では,PRチェーンから構造化監視を体系的にマイニングするdaVinci-Agencyを提案する。
DaVinci-AgencyのPR基底構造は、本質的には、永続的なゴールサイクルの振る舞いを教えるのに不可欠な因果依存性と反復的な洗練を保っている。
論文 参考訳（メタデータ） (2026-02-02T13:23:39Z) - Discovering Process-Outcome Credit in Multi-Step LLM Reasoning [3.584086358722852]
強化学習(RL)は、大規模言語モデル(LLM)における推論能力を高めるための強力なパラダイムとして機能する。
本稿では,連続的な報酬信号を提供するための新しいフレームワークを提案する。
本モデルでは, 予測できない, 難解な推論タスクに対して, ゼロショット転送能力を実証し, より優れた配当性を示す。
論文 参考訳（メタデータ） (2026-02-01T05:44:09Z) - Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。
進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。
ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
論文 参考訳（メタデータ） (2025-12-01T17:41:08Z) - A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。
我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。
我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
論文 参考訳（メタデータ） (2025-09-25T14:11:57Z) - Control Synthesis in Partially Observable Environments for Complex Perception-Related Objectives [2.7038841665524846]
本研究は、部分的に観測可能なマルコフ決定プロセスによってモデル化された環境における知覚関連目的のための最適なポリシーを合成する問題について研究する。
提案手法は,mboxsc-iLTL の目的を mboxsc-iLTL の目的を,信念 MDP の積と sc-iLTL の目的から構築した決定論的有限オートマトンを構築することにより,到達可能性の目標に変換することである。
製品によるスケーラビリティの課題を克服するため,モンテカルロ木探索法(MCTS)を導入する。
論文 参考訳（メタデータ） (2025-06-27T22:02:07Z) - Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。
合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。
我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
論文 参考訳（メタデータ） (2024-08-18T14:25:44Z) - Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-09T07:45:26Z) - Semantic Probabilistic Layers for Neuro-Symbolic Learning [83.25785999205932]
我々は構造化出力予測(SOP)のための予測層を設計する。
予測が事前に定義されたシンボリック制約のセットと一致していることを保証するため、任意のニューラルネットワークにプラグインすることができる。
我々のセマンティック確率層(SPL)は、構造化された出力空間上で複雑な相関や制約をモデル化することができる。
論文 参考訳（メタデータ） (2022-06-01T12:02:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。