論文の概要: Learning Unknown Constraints without Unsafe Data via Optimality and Counterfactual Regularization

• arxiv url: http://arxiv.org/abs/2610.09350v1
• Date: Wed, 07 Oct 2026 03:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.690664
• Title: Learning Unknown Constraints without Unsafe Data via Optimality and Counterfactual Regularization
• Title（参考訳）: 最適性と非現実的規則化による安全でない未知の制約の学習
• Abstract要約: デモンストレーション(LfD)から学ぶことは、専門家の振る舞いをローカルに最適化し制約を満たすことから未知の制約を推測するフレームワークを提供する。 未知の制約を回復するために,学習力学と局所最適実演を活用する制約学習フレームワークであるCounterfactual KKT(CF-KKT)を紹介する。
• 参考スコア（独自算出の注目度）: 4.075698536268898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from demonstrations (LfD) provides a framework for inferring unknown constraints from locally optimal, constraint-satisfying expert behavior. Existing approaches largely fall into two paradigms, constrained inverse optimal control (CIOC) and inverse constrained reinforcement learning (ICRL). CIOC exploits optimality conditions such as the Karush--Kuhn--Tucker (KKT) conditions but typically assumes known dynamics and structured constraint representations. Meanwhile, ICRL accommodates complex unknown constraints and unknown transition dynamics but often requires extensive online exploration, during which unsafe constraint violations may occur. In this work, we introduce Counterfactual KKT (CF-KKT), a constraint learning framework that leverages learned dynamics and locally optimal demonstrations to recover unknown constraints without requiring known dynamics or additional risky exploration, thereby combining the data efficiency and safety advantages of CIOC with the flexibility of ICRL. First, we use a locally learned differentiable dynamics model to impose KKT-inspired optimality conditions directly on the demonstrations. Second, we use the learned dynamics to generate reward-improving counterfactual behaviors near the demonstrations, revealing behaviors that would be preferable in the absence of the unknown constraint and thus providing synthetic infeasible data. When the constraint parameterization is known, the same learned-dynamics framework enables direct CIOC-based parameter recovery, and we characterize its sensitivity to dynamics misspecification. Across high-dimensional robotic control tasks, our approach learns neural constraint representations with improved safety and data efficiency relative to state-of-the-art offline ICRL baselines.
• Abstract（参考訳）: デモンストレーション(LfD)から学ぶことは、専門家の振る舞いをローカルに最適化し制約を満たすことから未知の制約を推測するフレームワークを提供する。 既存のアプローチは、主に、制約付き逆最適制御(CIOC)と逆制約付き強化学習(ICRL)の2つのパラダイムに分類される。 CIOCはKKT(Karush--Kuhn--Tucker)条件のような最適条件を利用するが、典型的には既知の力学と構造的制約表現を仮定する。 一方、ICRLは複雑な未知の制約と未知の遷移力学を許容するが、多くの場合、安全でない制約違反が発生するような大規模なオンライン探索を必要とする。 本研究は,学習力学と局所的最適デモンストレーションを活用する制約学習フレームワークであるCF-KKTを導入し,未知の制約を,未知のダイナミックスや追加のリスク探索を必要とせずに回復し,ICCRLの柔軟性とCIOCのデータ効率と安全性の優位性を両立させる。 まず、KKTにインスパイアされた最適性条件を実演に直接課すために、局所的に学習された微分可能力学モデルを用いる。 第二に、学習力学を用いて、デモの近くで報酬改善の反事実行動を生成し、未知の制約が存在しない場合に望ましい行動を明らかにし、合成不可能なデータを提供する。 制約パラメータ化が知られている場合、同じ学習力学フレームワークが直接CIOCに基づくパラメータ回復を可能にし、その動的パラメータ化に対する感受性を特徴付ける。 高次元ロボット制御タスク全体で、我々は最先端のオフラインICRLベースラインに対する安全性とデータ効率を改善した神経拘束表現を学習する。

関連論文リスト

• ASACK : Adaptive Safe Active Continual Koopman Learning for Uncertain Systems with Contractive Guarantees [0.38887448816036313]
  クープマン作用素論 (Koopman operator theory) は、持ち上げ可観測物に作用する線型作用素を通して非線形力学を表現するための枠組みを提供する。 本稿では,学習モデルの安全かつ効率的なオンライン改善を可能にする,継続的適応型クープマン学習のための統合フレームワークを提案する。 提案したアプローチは、リアルタイム効率を犠牲にすることなく、コントロールフレームワーク内の学習、デプロイメント、安全性を統一する。
  論文  参考訳（メタデータ） (2026-05-10T17:11:51Z)
• Non-Parametric Rehearsal Learning via Conditional Mean Embeddings [88.89267783967263]
  本研究では,不必要な未来(AUF)問題をテキスト化するための非パラメトリックリハーサル学習手法を提案する。 具体的には、カーネル機械を用いてAUFの目的を、動作誘起分布変化から所望性モデリングを遠ざける統一表現に再構成する。
  論文  参考訳（メタデータ） (2026-05-09T15:30:52Z)
• CAP: Controllable Alignment Prompting for Unlearning in LLMs [19.554047742421197]
  大規模言語モデル(LLM)は、未フィルタリングコーパスで訓練され、本質的に機密情報を保持するリスクを負う。 既存のパラメータ修正手法は、計算コストの増大、制御不能な境界の無視、モデルウェイトアクセスへの厳格な依存など、基本的な制限に直面している。 我々は、エンドツーエンドのプロンプト駆動型アンラーニングパラダイムである、Unlearningフレームワークのための制御可能なアライメント・プロンプトを提案する。
  論文  参考訳（メタデータ） (2026-04-23T03:42:41Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• Contraction Actor-Critic: Contraction Metric-Guided Reinforcement Learning for Robust Path Tracking [0.0]
  制御収縮メトリック(CCM)は、コントローラと対応する収縮メトリックを共合成するフレームワークを提供する。 我々は,CCMを強化学習(RL)に統合し,CCMが動的インフォームドフィードバックを学習制御ポリシーにもたらすことを提案する。 我々は,契約アクタ批判 (CAC) と呼ばれるアルゴリズムが,契約ポリシーのセットを提供するためのCCMの能力を公式に強化することを示した。
  論文  参考訳（メタデータ） (2025-05-28T22:26:23Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Learning Control Barrier Functions from Expert Demonstrations [69.23675822701357]
  制御障壁関数(CBF)に基づく安全な制御器合成のための学習に基づくアプローチを提案する。 最適化に基づくCBFの学習手法を解析し、基礎となる力学系のリプシッツ仮定の下で証明可能な安全保証を享受する。 私たちの知る限りでは、これらはデータから確実に安全な制御障壁関数を学習する最初の結果です。
  論文  参考訳（メタデータ） (2020-04-07T12:29:06Z)
• Learning Constraints from Locally-Optimal Demonstrations under Cost Function Uncertainty [6.950510860295866]
  本稿では,最適化されたコスト関数が学習者に不確実な地域最適実証からパラメトリック制約を学習するアルゴリズムを提案する。 本手法では、混合整数線形プログラム(MILP)における実演のKKT最適条件を用いて、実演の局所的最適性に整合した制約を学習する。 7-DOFアームと四重項の制約を学習することで高次元制約とシステムの評価を行い、競合する制約学習手法よりも優れており、環境における新しい制約満足軌道の計画に効果的に利用できることを示す。
  論文  参考訳（メタデータ） (2020-01-25T15:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。