論文の概要: DO-IQS: Dynamics-Aware Offline Inverse Q-Learning for Optimal Stopping with Unknown Gain Functions

• arxiv url: http://arxiv.org/abs/2503.03515v1
• Date: Wed, 05 Mar 2025 14:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:32.239720
• Title: DO-IQS: Dynamics-Aware Offline Inverse Q-Learning for Optimal Stopping with Unknown Gain Functions
• Title（参考訳）: DO-IQS:未知ゲイン関数を用いた最適停止のためのダイナミクス対応オフラインQ-Learning
• Authors: Anna Kuchko,
• Abstract要約: Inverse Optimal Stopping (IOS) problem, based on the stop expert trajectories, is aimed to recovery the optimal stop region through continuation and stop gain function approximation。 現在の最先端の逆強化学習法は、最適な停止問題によって生じる特定の課題を考慮できない。 これらの課題は、最適停止のためのDynamics-Aware Offline Inverse Q-Learning(DO-IQS)によって解決される。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We consider Inverse Optimal Stopping (IOS) problem where, based on stopped expert trajectories, one aims to recover the optimal stopping region through continuation and stopping gain functions approximation. The uniqueness of the stopping region allows the use of IOS in real-world applications with safety concerns. While current state-of-the-art inverse reinforcement learning methods recover both a Q-function and the corresponding optimal policy, they fail to account for specific challenges posed by optimal stopping problems. These include data sparsity near the stopping region, non-Markovian nature of the continuation gain, a proper treatment of boundary conditions, the need for a stable offline approach for risk-sensitive applications, and a lack of a quality evaluation metric. These challenges are addressed with the proposed Dynamics-Aware Offline Inverse Q-Learning for Optimal Stopping (DO-IQS), which incorporates temporal information by approximating the cumulative continuation gain together with the world dynamics and the Q-function without querying to the environment. Moreover, a confidence-based oversampling approach is proposed to treat the data sparsity problem. We demonstrate the performance of our models on real and artificial data including an optimal intervention for critical events problem.
• Abstract（参考訳）: Inverse Optimal Stopping (IOS) problem, based on the stop expert trajectories, one aimed to recovery the optimal stop region through continuation and stop gain function approxation。 停止領域の独特さは、安全上の懸念のある現実世界のアプリケーションでIOSを使用することを可能にする。 現在の最先端の逆強化学習手法は、Q関数と対応する最適ポリシーの両方を回復するが、最適な停止問題によって生じる特定の課題を考慮できない。 これらには、停止領域近くのデータ空間、継続ゲインの非マルコフ的性質、境界条件の適切な処理、リスクに敏感なアプリケーションに対する安定したオフラインアプローチの必要性、品質評価指標の欠如が含まれる。 これらの課題は、累積継続ゲインを環境に問い合わせることなく、世界ダイナミクスやQ関数とともに近似することにより、時間情報を組み込んだDynamics-Aware Offline Inverse Q-Learning for Optimal Stopping (DO-IQS)によって解決される。 さらに,データ分散性問題を扱うために,信頼度に基づくオーバーサンプリング手法を提案する。 臨界事象問題に対する最適介入を含む実データおよび人工データ上でのモデルの性能を実証する。

関連論文リスト

• Resilient Constrained Reinforcement Learning [87.4374430686956]
  本稿では,複数の制約仕様を事前に特定しない制約付き強化学習(RL)のクラスについて検討する。 報酬訓練目標と制約満足度との間に不明確なトレードオフがあるため、適切な制約仕様を特定することは困難である。 我々は、ポリシーと制約仕様を一緒に検索する新しい制約付きRLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:28:23Z)
• Offline Minimax Soft-Q-learning Under Realizability and Partial Coverage [100.8180383245813]
  オフライン強化学習(RL)のための値ベースアルゴリズムを提案する。 ソフトマージン条件下でのバニラQ関数の類似した結果を示す。 我々のアルゴリズムの損失関数は、推定問題を非線形凸最適化問題とラグランジフィケーションとしてキャストすることによって生じる。
  論文  参考訳（メタデータ） (2023-02-05T14:22:41Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Safety and Liveness Guarantees through Reach-Avoid Reinforcement Learning [24.56889192688925]
  リーチ・アビド最適制御問題は、自律ロボットシステムの安全性と生存性保証の中心である。 性能目標を用いた最適制御問題を概ね解くための強化学習手法の最近の成功は、その認証問題への適用を魅力的にしている。 最近の研究は、安全型問題を扱うための強化学習機械の拡張を約束しており、その目的は和ではなく、時間とともに最小限(または最大)である。
  論文  参考訳（メタデータ） (2021-12-23T00:44:38Z)
• Non-asymptotic Confidence Intervals of Off-policy Evaluation: Primal and Dual Bounds [21.520045697447372]
  オフ・ポリティィ・アセスメント(OPE)は、以前異なるポリシーの下で収集されたオフラインデータに基づいて、所定のポリシーの期待される報酬を推定するタスクである。 本研究は,非漸近的信頼区間を無限ホリゾンオフポリシー評価で構築する問題を考える。 原始双対最適化に基づく実践的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-03-09T22:31:20Z)
• Constrained Reinforcement Learning for Dynamic Optimization under Uncertainty [1.5797349391370117]
  動的リアルタイム最適化(DRTO)は、最適動作条件をリアルタイムに計算する必要があるという事実から難しい課題である。 DRTOの産業応用における主要なボトルネックは、不確実性の存在である。 これらの課題に対応するために,制約付き強化学習(RL)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-04T10:17:35Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)
• Optimizing for the Future in Non-Stationary MDPs [52.373873622008944]
  本稿では,今後の性能予測を最大化するポリシ勾配アルゴリズムを提案する。 我々のアルゴリズムであるPrognosticatorは2つのオンライン適応手法よりも非定常性に頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-17T03:41:19Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Deep Constrained Q-learning [15.582910645906145]
  多くの実世界の応用において、強化学習エージェントは特定の規則に従うか制約を満たすことなく、複数の目的を最適化する必要がある。 制約付きMDPの最適Q関数とそれに対応する安全ポリシーを学習するために,Q更新時の行動空間を直接制限する新しい非政治的強化学習フレームワークであるConstrained Q-learningを提案する。
  論文  参考訳（メタデータ） (2020-03-20T17:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。