論文の概要: Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

• arxiv url: http://arxiv.org/abs/2602.23816v1
• Date: Fri, 27 Feb 2026 08:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.337009
• Title: Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective
• Title（参考訳）: 未知の制約のある環境下でのエキスパートによる安全維持の学習:Q-ラーニングの視点から
• Authors: George Papadopoulos, George A. Vouros,
• Abstract要約: 我々は、保守的であることと高い回帰軌道の可能性を著しく増大させることのバランスを表わす軌道の可能性を最大化する政策を見出した。 我々は、タスク固有の報酬だけでなく、州の安全性の評価にも依存する$Q$の値で、個々の状態-行動ペアの「約束」を定式化する。 これは、制約の下での逆学習問題に対する安全なQ-ラーニングの視点を必要とする。
• 参考スコア（独自算出の注目度）: 1.104960878651584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a set of trajectories demonstrating the execution of a task safely in a constrained MDP with observable rewards but with unknown constraints and non-observable costs, we aim to find a policy that maximizes the likelihood of demonstrated trajectories trading the balance between being conservative and increasing significantly the likelihood of high-rewarding trajectories but with potentially unsafe steps. Having these objectives, we aim towards learning a policy that maximizes the probability of the most $promising$ trajectories with respect to the demonstrations. In so doing, we formulate the ``promise" of individual state-action pairs in terms of $Q$ values, which depend on task-specific rewards as well as on the assessment of states' safety, mixing expectations in terms of rewards and safety. This entails a safe Q-learning perspective of the inverse learning problem under constraints: The devised Safe $Q$ Inverse Constrained Reinforcement Learning (SafeQIL) algorithm is compared to state-of-the art inverse constraint reinforcement learning algorithms to a set of challenging benchmark tasks, showing its merits.
• Abstract（参考訳）: 制約付きMDPにおけるタスクの安全な実行を示す一連のトラジェクトリを、未知の制約と非オブザーバブルコストで実施することを考えると、トラジェクトリが保守的であることと、高利回りのトラジェクトリと潜在的に安全でないステップとのバランスを交換する可能性の最大化を図る。 これらの目的を掲げて、実証に関する最も高い$軌道の確率を最大化する政策の学習を目指す。 このようにして、我々は、タスク固有の報酬だけでなく、国家の安全性の評価にも依存し、報酬と安全性の点で期待を混ぜた、個別の状態-行動ペアの ‘promise’ を、$Q$の値で定式化する。 The devised Safe $Q$ Inverse Constrained Reinforcement Learning (SafeQIL) algorithm is compared to the state-of-the art inverse constraint reinforcement learning algorithm to a set challenge benchmark task。

関連論文リスト

• OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories [5.52395321369933]
  本研究は,オフライン安全な模倣学習(IL)の問題に対処する。 目標は、時間ごとの安全コストや報奨情報を持たないデモから、安全で報酬を最大化するポリシーを学ぶことである。 非推奨のデモンストレーションから安全性を推論する新しいオフライン安全なILアルゴリズムOSILを提案する。
  論文  参考訳（メタデータ） (2026-02-11T16:41:16Z)
• Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
  インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。 LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。 このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
  論文  参考訳（メタデータ） (2025-09-08T15:24:33Z)
• Saffron-1: Safety Inference Scaling [69.61130284742353]
  SAFFRONは、安全保証のために明示的に調整された、新しい推論スケーリングパラダイムである。 我々のアプローチの中心は、要求される報酬モデルの評価を著しく削減する乗算報酬モデル(MRM)の導入である。 トレーニング済みの多機能報酬モデル(Saffron-1)とそれに伴うトークンレベルの安全報酬データセット(Safety4M)を公開します。
  論文  参考訳（メタデータ） (2025-06-06T18:05:45Z)
• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• Feasibility Consistent Representation Learning for Safe Reinforcement Learning [25.258227763316228]
  FCSRL(Fasibility Consistent Safe Reinforcement Learning)という新しいフレームワークを導入する。 本フレームワークは、表現学習と実現可能性指向の目的を組み合わせることで、安全RLのために生の状態から安全関連情報を識別し、抽出する。 本手法は,従来の表現学習ベースラインよりも安全性に配慮した埋め込みを学習し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-20T01:37:21Z)
• Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis [63.532413807686524]
  本稿では、強化学習(RL)におけるトレーニング中の安全維持の問題に対処する。 探索中の効率的な進捗と安全性のトレードオフを扱う新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-12-18T16:09:43Z)
• Bayesian Inverse Transition Learning for Offline Settings [30.10905852013852]
  強化学習は、医療や教育などの領域におけるシーケンシャルな意思決定に一般的に用いられる。 我々は、遷移力学の後方分布を確実に学習するために、デシダラタを捕捉する新しい制約ベースのアプローチを提案する。 その結果、制約を用いることで、高いパフォーマンスのポリシーを学習し、異なるデータセットに対するポリシーのばらつきを著しく低減することを示した。
  論文  参考訳（メタデータ） (2023-08-09T17:08:29Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Latent State Marginalization as a Low-cost Approach for Improving Exploration [79.12247903178934]
  我々はMaxEntフレームワークにおける潜在変数ポリシーの採用を提案する。 我々は、潜在変数ポリシーが、潜在信念状態を持つ世界モデルの下で自然に現れることを示す。 提案手法を連続制御タスクに対して実験的に検証し, 有効限界化がよりよい探索とより堅牢な訓練につながることを示した。
  論文  参考訳（メタデータ） (2022-10-03T15:09:12Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)
• Constrained Markov Decision Processes via Backward Value Functions [43.649330976089004]
  制約付きマルコフ決定プロセスとして,制約付き学習の問題をモデル化する。 我々のアプローチの重要な貢献は、累積的なコスト制約を状態ベースの制約に変換することである。 我々は、エージェントが訓練の過程で安全を確保しながら収束する理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-08-26T20:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。