論文の概要: Value Functions as Supermartingale Certificates

• arxiv url: http://arxiv.org/abs/2605.31524v1
• Date: Fri, 29 May 2026 16:39:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.756378
• Title: Value Functions as Supermartingale Certificates
• Title（参考訳）: スーパーマーチンゲール証明書としてのバリュー関数
• Abstract要約: 適切な報酬の下では、$$-regularプロパティをほぼ確実に満足するポリシーに関連する値関数が、その仕様のStreet Supermartingale証明書を符号化していることを示す。 我々の結果は有限マルコフ決定過程で実験的に検証され、有限で数え切れないほど無限で連続的な状態空間を保ち、RLによる証明書合成への原則的経路を示唆している。
• 参考スコア（独自算出の注目度）: 48.922124609307566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Certification methods for stochastic systems provide sufficient proof rules, based on real-valued supermartingale certificates, to determine the almost-sure satisfaction of $ω$-regular properties (and therefore of linear temporal logic) over general state spaces, encompassing both countably infinite and continuous state spaces. Conversely, reinforcement learning (RL) methods for $ω$-regular tasks have received considerable attention, but they typically lack formal guarantees that the learned policy satisfies the specification, except possibly for finite state and action spaces. We bridge these two lines of research by establishing a novel theoretical connection: under an appropriate reward, the value function associated to a policy that almost surely satisfies an $ω$-regular property encodes a Streett supermartingale certificate for that specification. Our results, validated experimentally on finite Markov decision processes, hold for finite, countably infinite, and continuous state spaces, suggesting a principled route to certificate synthesis via RL.
• Abstract（参考訳）: 確率システムの証明法は、実数値スーパーマーチンゲール証明に基づいて、一般的な状態空間上の$ω$正則な性質(従って線形時間論理)のほぼ確実に満足度を決定するのに十分な証明ルールを提供する。 逆に、$ω$正則なタスクに対する強化学習(RL)法は注目されているが、一般には有限状態やアクション空間を除いて、学習ポリシーが仕様を満たすという正式な保証は欠いている。 適切な報酬の下で、$ω$-regularプロパティをほぼ確実に満足するポリシーに関連する値関数は、その仕様のStreet Supermartingale証明書を符号化する。 我々の結果は有限マルコフ決定過程で実験的に検証され、有限で数え切れないほど無限で連続的な状態空間を保ち、RLによる証明書合成への原則的経路を示唆している。

関連論文リスト

• On the Formal Limits of Alignment Verification [0.24049560288708582]
  AIの安全性に関する根本的な疑問は、アライメントが正式に認定されるかどうかである。 検証手順が3つの特性を同時に満たさないことを証明する。音性(不整合系が認定されない)、一般性(検証は時間内に実行される)、トラクタビリティである。 その結果、完全なニューラルネットワーク検証の計算複雑性、行動観察による内部目標構造の非識別性、無限領域上で定義された特性に対する有限証拠の限界という3つの独立した障壁が導かれる。
  論文  参考訳（メタデータ） (2026-03-08T23:03:21Z)
• P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
  本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。 P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
  論文  参考訳（メタデータ） (2026-01-28T14:35:20Z)
• Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences [51.56484100374058]
  凸最適化のための勾配降下(SGD)の停止規則について検討した。 我々は、投影されたSGDの重み付き平均準最適度に対して、任意の有意、データ依存の高信頼シーケンスを開発する。 これらは、厳格でタイムユニフォームなパフォーマンス保証と、有限時間$varepsilon$-optimality証明書である。
  論文  参考訳（メタデータ） (2025-12-15T09:26:45Z)
• Phase Transition for Stochastic Block Model with more than $\sqrt{n}$ Communities (II) [51.320599504997745]
  コミュニティの$K$が$sqrtn$より小さい場合、Kesten-Stigumしきい値を超えれば、非自明なコミュニティリカバリが可能になる。 また、適度にスパースな設定では、最適なアルゴリズムがスペクトル法と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-11-26T15:54:17Z)
• Provably Sample-Efficient Robust Reinforcement Learning with Average Reward [4.530028899565083]
  本稿では,$ell_p$-normと汚染モデルにより特徴付けられる遷移不確実性を持つロバストなマルコフ決定過程(MDP)を設計した新しいアルゴリズムを提案する。 我々のアルゴリズムは、頑健なMDPの事前知識を必要とせずに動作する。 我々の研究は、ロバスト平均報酬RLのサンプル効率の基本的な理論的理解を提供する。
  論文  参考訳（メタデータ） (2025-05-18T15:34:45Z)
• DeepLTL: Learning to Efficiently Satisfy Complex LTL Specifications for Multi-Task RL [59.01527054553122]
  線形時間論理(LTL)は、最近、複雑で時間的に拡張されたタスクを特定するための強力なフォーマリズムとして採用されている。 既存のアプローチにはいくつかの欠点がある。 これらの問題に対処するための新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T21:30:38Z)
• Reward Certification for Policy Smoothed Reinforcement Learning [14.804252729195513]
  強化学習(Reinforcement Learning, RL)は、安全クリティカルな分野において大きな成功を収めた。 近年の研究では、その堅牢性を高めるために「平滑な政策」を導入している。 報酬の総額を認定する証明可能な保証を確立することは依然として困難である。
  論文  参考訳（メタデータ） (2023-12-11T15:07:58Z)
• Learning Control Policies for Stochastic Systems with Reach-avoid Guarantees [20.045860624444494]
  本研究では,形式的リーチ回避保証付き離散時間非線形力学系における学習制御装置の問題点について検討する。 我々は,本研究で導入した新しい概念であるRASM(リーチ・アビド・スーパーマーチンゲール)の形で証明書を学習する。 当社のアプローチでは,コントロールポリシをスクラッチから学習したり,固定されたコントロールポリシのリーチ回避仕様を検証したり,事前訓練されたポリシを微調整したり,といった,いくつかの重要な問題を解決しています。
  論文  参考訳（メタデータ） (2022-10-11T10:02:49Z)
• Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report) [0.0]
  我々は、強化学習(RL)を通して学んだ政策の文脈で、政策の単純化と検証の課題を考える。 未知の環境と学習された離散潜在モデルの間に新しい双シミュレーション境界を導出する。 本稿では、現状のRLを用いて得られたポリシーを用いて、ほぼ正しいバイシミュレーション保証を持つ離散潜在モデルを生成する変分オートエンコーダを効率的に訓練する方法を示す。
  論文  参考訳（メタデータ） (2021-12-17T17:57:32Z)
• Offline Reinforcement Learning: Fundamental Barriers for Value Function Approximation [74.3002974673248]
  本稿では,ログデータから意思決定方針を学習することを目的としたオフライン強化学習問題を考察する。 オンラインデータ収集は安全クリティカルなドメインに適しているため、オフラインのRLは現実的にますます重要になっている。 以上の結果から, サンプル効率の良いオフライン強化学習には, 制限的カバレッジ条件か, あるいは複雑性学習を超える表現条件が必要であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-21T23:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。