論文の概要: Entropy Objectives in Markov Decision Processes
- arxiv url: http://arxiv.org/abs/2606.21726v1
- Date: Fri, 19 Jun 2026 20:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 03:41:39.596481
- Title: Entropy Objectives in Markov Decision Processes
- Title（参考訳）: マルコフ決定過程におけるエントロピー対象
- Abstract要約: 本稿では,システムの状態分布に対する濃度特性を強制する制御ポリシの合成問題について考察する。
この問題の緩和版でさえ、複雑性理論上は難しいことが最初に示された。
次に、このようなエントロピー目的の戦略を検証し、合成するための、健全で(条件的に)比較的完全な方法を提案する。
- 参考スコア（独自算出の注目度）: 5.654132722460059
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We consider the problem of synthesizing control policies that enforce a concentration property on the state distributions of a stochastic system. We present a formalization of this problem in terms of synthesizing strategies for maintaining an entropy-based objective in Markov Decision Processes (MDPs). We first show that even relaxed versions of this problem are complexity-theoretically hard. We then present a sound and (conditionally) relatively complete method to verify and synthesize strategies for such entropy objectives. The main challenge is the non-linear nature of such objectives, and our approach addresses this by exploiting and combining ideas from convex duality and invariant synthesis. We also investigate the role of memory and randomization in ensuring entropy objectives. Finally, we implement our ideas to evaluate our approach empirically on a few illustrative benchmarks.
- Abstract（参考訳）: 本稿では,確率系の状態分布に対する濃度特性を強制する制御ポリシの合成問題について考察する。
本稿では,マルコフ決定過程(MDP)において,エントロピーに基づく目的の維持のための合成戦略の観点から,この問題の形式化を提案する。
この問題の緩和版でさえ、複雑性理論上は難しいことが最初に示された。
次に、このようなエントロピー目的の戦略を検証し、合成するための、健全で(条件的に)比較的完全な方法を提案する。
主な課題は、そのような目的の非線形性であり、我々のアプローチは凸双対性と不変合成のアイデアを活用、組み合わせることでこの問題に対処する。
また,エントロピー目標の確保における記憶とランダム化の役割についても検討した。
最後に、いくつかの実証的なベンチマークで、我々のアプローチを実証的に評価するために、私たちのアイデアを実装します。
関連論文リスト
- Synthesizing POMDP Policies: Sampling Meets Model-checking via Learning [2.375990942704781]
POMDPは不確実性の下での意思決定の標準フレームワークである。
サンプリングベースの手法はうまくスケールするが、正式な正当性保証がないため、安全クリティカルなアプリケーションには適さない。
本稿では,サンプリング,自動学習,モデルチェックを統合した合成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-14T06:37:31Z) - Causal Algorithmic Recourse: Foundations and Methods [57.73269033551628]
AIシステムの主な特徴は、個人が否定的な決定を覆す方法のレコメンデーションを提供する能力である。
既存のアプローチでは、recourseの結果を固定単位の反事実として扱う。
我々は、事前および事後結果のプロセスとして、会話をモデル化する因果的枠組みを開発する。
論文 参考訳（メタデータ） (2026-05-12T00:55:19Z) - Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models [57.42778606399764]
拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。
現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。
これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
論文 参考訳（メタデータ） (2025-10-02T00:34:15Z) - Control Synthesis in Partially Observable Environments for Complex Perception-Related Objectives [2.7038841665524846]
本研究は、部分的に観測可能なマルコフ決定プロセスによってモデル化された環境における知覚関連目的のための最適なポリシーを合成する問題について研究する。
提案手法は,mboxsc-iLTL の目的を mboxsc-iLTL の目的を,信念 MDP の積と sc-iLTL の目的から構築した決定論的有限オートマトンを構築することにより,到達可能性の目標に変換することである。
製品によるスケーラビリティの課題を克服するため,モンテカルロ木探索法(MCTS)を導入する。
論文 参考訳（メタデータ） (2025-06-27T22:02:07Z) - Invariant Measures for Data-Driven Dynamical System Identification: Analysis and Application [0.0]
本研究では,シミュレーションおよび観測された物理不変量の比較に基づいて,力学系の同定を行う新しい手法を提案する。
ノイズ、カオス、遅いサンプリングを含むシステム識別において、幅広い課題に対して堅牢性を得る。
論文 参考訳（メタデータ） (2025-01-31T23:27:33Z) - PCA for Point Processes [1.7499351967216341]
本稿では,複製点過程の解析のための新しい統計フレームワークを提案する。
点過程の現実化をランダムな測度として扱うことにより、機能解析の観点を採用する。
主要な理論的貢献は、ランダム測度に対するカルフン・ローブ拡大の確立である。
論文 参考訳（メタデータ） (2024-04-30T15:57:18Z) - Entropic Matching for Expectation Propagation of Markov Jump Processes [31.376561087029454]
我々はマルコフジャンププロセスのための新しい、引き込み可能な潜在推論スキームを提案する。
我々のアプローチは、よく知られた予測伝搬アルゴリズムに組み込むことができるエントロピーマッチングフレームワークに基づいている。
論文 参考訳（メタデータ） (2023-09-27T12:07:21Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。
非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
論文 参考訳（メタデータ） (2023-06-27T02:26:01Z) - Formal Controller Synthesis for Markov Jump Linear Systems with
Uncertain Dynamics [64.72260320446158]
マルコフジャンプ線形系に対する制御器の合成法を提案する。
本手法は,MJLSの離散(モードジャンピング)と連続(確率線形)の両方の挙動を捉える有限状態抽象化に基づいている。
本手法を複数の現実的なベンチマーク問題,特に温度制御と航空機の配送問題に適用する。
論文 参考訳（メタデータ） (2022-12-01T17:36:30Z) - Controller Synthesis for Omega-Regular and Steady-State Specifications [9.901800502055929]
本稿では,$omega$-regularかつ定常制約を満たす決定論的ポリシーを求めるアルゴリズムを提案する。
我々は我々のアプローチを実験的に評価した。
論文 参考訳（メタデータ） (2021-06-05T19:34:22Z) - Stein Variational Model Predictive Control [130.60527864489168]
不確実性の下での意思決定は、現実の自律システムにとって極めて重要である。
モデル予測制御 (MPC) 法は, 複雑な分布を扱う場合, 適用範囲が限られている。
この枠組みが、挑戦的で非最適な制御問題における計画の成功に繋がることを示す。
論文 参考訳（メタデータ） (2020-11-15T22:36:59Z) - Active Model Estimation in Markov Decision Processes [108.46146218973189]
マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。
マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
論文 参考訳（メタデータ） (2020-03-06T16:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。