Fugu-MT 論文翻訳(概要): From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs

論文の概要: From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs

arxiv url: http://arxiv.org/abs/2608.07301v1
Date: Fri, 07 Aug 2026 14:56:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-10 16:21:25.536396
Title: From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs
Title（参考訳）: 最適行動から世界モデルへ:分散MDPにおける遷移カーネルの同定可能性
Abstract要約: 最適行動のみからマルコフ決定過程の遷移確率を復元できるものについて検討する。すべての報酬に対して最適なアクションを知ることは、同じ固定ポリシーが従えば、ひとつのアクションが他のアクションよりもどれだけ良いかを教えてくれます。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study what can be recovered about the transition probabilities of a Markov decision process from optimal actions alone. This is closely related to the inverse problem considered by Letcher et al., who ask when the dynamics can be recovered from numerical $Q$-values. Here the numerical values themselves are not observed; only the optimal actions are known, for every reward in a given class. For state-action rewards $r(s,a)$, knowing the optimal actions for every reward also tells us how much better one action is than another when each is followed by the same fixed policy. This is still not enough to determine the transition probabilities uniquely. We prove that two kernels give the same optimal actions for every reward exactly when \[ Q_{s,a} = \Bigl(P_{s,a}+\tfrac1γe_s^{\mathsf T}(L-I)\Bigr)L^{-1} \] for one invertible matrix $L$ satisfying $L\mathbf 1=\mathbf 1$. Near a kernel with strictly positive entries, there is an $n(n-1)$-dimensional family of different kernels with this property. The result is unchanged if we consider only rewards having a unique optimal action at every state. We then compare this with rewards of the forms $r(s)$ and $r(s,a,s')$. Rewards that depend on the next state can usually recover the transition kernel itself: every row at a state with at least two actions is determined, and we describe exactly when a row at a state with one action can remain hidden. State rewards reveal less: two kernels give the same optimal actions exactly when every deterministic policy is optimal for the same set of rewards. The results show how the form of the reward affects what can be learned about the dynamics from optimal actions alone.
Abstract（参考訳）: 最適行動のみからマルコフ決定過程の遷移確率を復元できるものについて検討する。これは、数値 $Q$-値から力学がいつ回復できるかを問うLetcherらによる逆問題と密接に関係している。ここでは数値そのものは観測されず、与えられたクラスのすべての報酬に対して最適な行動のみが知られている。状態-作用報酬 $r(s,a)\ について、各報酬に対する最適な作用を知ることは、それぞれが同じ固定ポリシーで従うとき、ある作用が他のアクションよりもどれだけ良いかを教えてくれる。これは、遷移確率を一意に決定するのにはまだ不十分である。 1つの可逆行列 \(L$ に対して \[ Q_{s,a} = \Bigl(P_{s,a}+\tfrac1γe_s^{\mathsf T}(L-I)\Bigr)L^{-1} \] が $L\mathbf 1=\mathbf 1$ を満たすとき、2つの核がすべての報酬に対して同じ最適作用を与えることを証明している。厳密な正の成分を持つ核の近くには、この性質を持つ異なる核の $n(n-1)$-次元族が存在する。すべての状態において、一意の最適作用を持つ報酬のみを考えると、結果は変わらない。次にこれを、形式 $r(s)$ と \(r(s,a,s')\ の報酬と比較する。次の状態に依存するリワードは、通常、遷移カーネル自体を回復することができる:少なくとも2つのアクションを持つ状態のすべての行が決定され、1つのアクションを持つ状態の行がいつ隠されるのかを正確に記述する。 2つのカーネルは、すべての決定論的ポリシーが同じ報酬セットに対して最適である場合に、正確に同じ最適なアクションを与える。結果は、報酬の形式が最適な行動のみから学べるものにどのように影響するかを示している。

関連論文リスト

Multiscale Reward Hedging from Correct Demonstrations [1.14219428942199]
既存の報酬ヘッジ保証は、有限報酬クラスを仮定する。鍵となるのは、あらゆる精度の尺度で寛容な最適性テストよりも、ひとつの共有投票でヘッジすることです。
論文参考訳（メタデータ） (2026-08-07T05:36:22Z)
Learning Reward Machines from Partially Observed Policies [0.1274452325287335]
逆強化学習は、最適政策や専門家による実演から報酬関数を推定する問題である。我々の目標は、有限情報を用いて真の報奨機を特定することである。
論文参考訳（メタデータ） (2025-02-06T03:48:25Z)
Restless Bandit Problem with Rewards Generated by a Linear Gaussian Dynamical System [0.0]
不確実性の下での意思決定は、頻繁に遭遇する基本的な問題であり、多重武装バンディット問題として定式化することができる。本稿では,前述した報奨を線形に組み合わせて各アクションの次の報奨を予測する手法を提案する。選択された前のアクションのシーケンスにかかわらず、事前に選択されたアクションに対してサンプリングされた報酬が、他のアクションの将来の報酬を予測するために使用できることを示す。
論文参考訳（メタデータ） (2024-05-15T05:33:49Z)
Autoregressive Bandits [58.46584210388307]
本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
論文参考訳（メタデータ） (2022-12-12T21:37:36Z)
Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-10-04T17:13:45Z)
Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文参考訳（メタデータ） (2022-06-13T19:11:22Z)
Top $K$ Ranking for Multi-Armed Bandit with Noisy Evaluations [102.32996053572144]
我々は,各ラウンドの開始時に,学習者が各アームの真の報酬について,ノイズのない独立した評価を受けるマルチアームバンディット・セッティングを考える。評価の方法によって異なるアルゴリズムアプローチと理論的保証を導出する。
論文参考訳（メタデータ） (2021-12-13T09:48:54Z)
Reinforcement Learning in Reward-Mixing MDPs [74.41782017817808]
報酬混合マルコフ決定過程(MDP)におけるエピソード強化学習 cdot S2 A2)$ episodes, where$H$ is time-horizon and $S, A$ are the number of state and actions。 epsilon$-optimal policy after $tildeO(poly(H,epsilon-1) cdot S2 A2)$ episodes, $H$ is time-horizon and $S, A$ are the number of state and actions。
論文参考訳（メタデータ） (2021-10-07T18:55:49Z)
Low-Complexity Algorithm for Restless Bandits with Imperfect Observations [1.4542411354617986]
我々は、強化学習と最適化において幅広い応用分野を見出す、レスレス・バンディット問題の一類を考察する。我々は,観測誤差を伴う一般的なレスト・バンディット・モデルに容易に適用可能な,高い性能を実現する低複雑性アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-08-09T05:01:19Z)
Provably Breaking the Quadratic Error Compounding Barrier in Imitation Learning, Optimally [58.463668865380946]
状態空間 $mathcalS$ を用いたエピソードマルコフ決定過程 (MDPs) における模擬学習の統計的限界について検討する。 rajaraman et al (2020) におけるmdアルゴリズムを用いた準最適性に対する上限 $o(|mathcals|h3/2/n)$ を定式化する。 Omega(H3/2/N)$ $mathcalS|geq 3$ であるのに対して、未知の遷移条件はよりシャープレートに悩まされる。
論文参考訳（メタデータ） (2021-02-25T15:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。