論文の概要: Infeasible optimization problems and the hierarchical augmented Lagrangian method in imitation learning

• arxiv url: http://arxiv.org/abs/2606.00730v1
• Date: Sat, 30 May 2026 13:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:58:23.959926
• Title: Infeasible optimization problems and the hierarchical augmented Lagrangian method in imitation learning
• Title（参考訳）: 模倣学習における不可能な最適化問題と階層化ラグランジアン法
• Abstract要約: 本研究では, 拡張ラグランジアン法に関する最近の理論的結果に基づいて, 実現不可能な環境下での簡易な対策について検討する。 提案手法は, 望ましい特性を持つ最寄りの制約付きIL問題の解決に向けて, 学習方針を推し進めていることを示す。 本手法は,全加速度制約と歩行者安全制約を具備した玩具運転例において,安全政策を許容しつつも,不実現性を自然に生み出すことができる設定について説明する。
• 参考スコア（独自算出の注目度）: 9.333654357828417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imitation learning (IL) is an effective approach to train complex robotics policies. Recent works have introduced hard constraints into imitation-learning optimization problems to ensure safety, stability, and robustness of the learned policy. However, we argue that these constraints are sometimes infeasible, which can lead to unstable or difficult training dynamics. We study a simple remedy for such situations based on recent theoretical results on the augmented Lagrangian method in infeasible settings. We show that our approach drives the learned policy toward the solution of a closest-feasible constrained IL problem with desirable properties. The method is illustrated on a toy driving example with a total-acceleration constraint and pedestrian-safety constraints, a setting in which infeasibility can naturally arise while still allowing a safe learned policy.
• Abstract（参考訳）: イミテーション・ラーニング(IL)は、複雑なロボティクス政策を訓練するための効果的なアプローチである。 最近の研究は、学習ポリシーの安全性、安定性、堅牢性を保証するために、模倣学習最適化問題に厳しい制約を導入している。 しかし、これらの制約は時に実現不可能であり、不安定あるいは困難なトレーニングのダイナミクスにつながる可能性がある、と我々は主張する。 本研究では, 拡張ラグランジアン法に関する最近の理論的結果に基づいて, 実現不可能な環境下での簡易な対策について検討する。 提案手法は, 望ましい特性を持つ最寄りの制約付きIL問題の解決に向けて, 学習方針を推し進めていることを示す。 本手法は,全加速度制約と歩行者安全制約を具備した玩具運転例において,安全政策を許容しつつも,不実現性を自然に生み出すことができる設定について説明する。

関連論文リスト

• Directional Constraints for Efficient Exploration in Safe Reinforcement Learning [19.03722256244529]
  本稿では,ATACOMフレームワークを拡張して,システムの事前知識やデータから直接学習する制約を強制する手法を提案する。 ATACOM-DC (ATACOM Directional Constraints) と呼ばれる提案手法は安全性と性能のトレードオフを大幅に改善する。 本手法は,制約違反コストとタスク性能の両面から,ロボット制御タスクのシミュレーション,解析,評価を行う。
  論文  参考訳（メタデータ） (2026-07-14T13:59:20Z)
• Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning [7.888219789657414]
  安全オフライン強化学習(RL)において、安全制約を厳格に遵守しつつ累積報酬を最大化する政策を開発することが目的である。 本稿では, 条件付き変分オートエンコーダを用いて, 保守的に安全な政策を学習することから始まる新しいアプローチを用いて, この問題に対処する。 我々は、これを制約付き逆戻り最大化問題とみなし、この政策は、推定された潜伏安全性の制約に従い、報酬を最適化することを目的としている。
  論文  参考訳（メタデータ） (2024-12-11T22:00:07Z)
• RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
  本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。 提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-07T23:32:36Z)
• Constrained Meta-Reinforcement Learning for Adaptable Safety Guarantee with Differentiable Convex Programming [4.825619788907192]
  本稿では,メタラーニングアプローチ(ラーニング・トゥ・ラーン)のレンズを通して制約された問題を解くことによって,非定常環境における安全性を確保するためのユニークな課題について考察する。 まず,複数タスクにまたがるコンベックス制約付きポリシー更新を連続的に採用し,エンドツーエンドの差別化を可能にすることで,制約のあるシナリオにおけるメタラーニングを可能にする。
  論文  参考訳（メタデータ） (2023-12-15T21:55:43Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Safety-Constrained Policy Transfer with Successor Features [19.754549649781644]
  本稿では,安全制約へのポリシーの移転と遵守を可能にするCMDP(Constrained Markov Decision Process)の定式化を提案する。 我々のアプローチは、Lagrangian の定式化による制約付き設定への一般化された政策改善の新たな拡張に依存している。 シミュレーションドメインでの我々の実験は、我々のアプローチが効果的であることを示し、安全上の制約を考慮に入れた場合、安全でない状態の訪問を少なくし、代替の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-10T06:06:36Z)
• Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement Learning in Unknown Stochastic Environments [84.3830478851369]
  本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。 本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-09-29T20:49:25Z)
• On Imitation Learning of Linear Control Policies: Enforcing Stability and Robustness Constraints via LMI Conditions [3.296303220677533]
  線形ポリシーの模倣学習を制約付き最適化問題として定式化する。 線形行列不等式 (lmi) の制約を適合ポリシーに適用することで閉ループ安定性とロバスト性が保証できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:43:03Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Closing the Closed-Loop Distribution Shift in Safe Imitation Learning [80.05727171757454]
  模倣学習問題において,安全な最適化に基づく制御戦略を専門家として扱う。 我々は、実行時に安価に評価でき、専門家と同じ安全保証を確実に満足する学習されたポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-02-18T05:11:41Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。