論文の概要: Interleaved Projected Gradient Descent for Safe Imitation Learning

• arxiv url: http://arxiv.org/abs/2610.07167v1
• Date: Mon, 05 Oct 2026 18:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.575575
• Title: Interleaved Projected Gradient Descent for Safe Imitation Learning
• Title（参考訳）: 安全な模倣学習のためのインターリーブ投影型グラディエントDescent
• Abstract要約: トレーニングは標準的な模倣勾配ステップと$k$の安全ステップを交互に行い、ネットワークのアクションを安全なセットに向ける。 我々はこのスキームを政策行動の空間における不正確な射影勾配勾配として解析する。 非線形自律レースタスクにおいて,本手法を模倣損失に重み付き制約違反ペナルティを加えて比較する。
• 参考スコア（独自算出の注目度）: 3.736063711613611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an imitation-learning design for neural-network control policies under state and input constraints. Training alternates a standard imitation gradient step with a block of $k$ safety steps that pull the network's actions toward their projection onto the safe set; at run time, the controller is the trained network alone, with no safety filter. We analyze this scheme as inexact projected gradient descent in the space of policy actions. When the projected actions are recomputed at every safety step and each step moves the actions consistently toward the safe set, letting $k$ grow logarithmically yields asymptotic constraint satisfaction on the training states and bounds the distance to the constrained optimum of the imitation loss; with the projected actions held fixed, the same holds only if they are exactly representable by the network. On a nonlinear autonomous racing task, we compare our method with adding a weighted constraint-violation penalty to the imitation loss. With a sufficiently large weight, our method matches the lap time of unconstrained imitation while reducing the fraction of violating episodes from $15\%$ to $1\%$, about six times fewer than the penalty approach at its best weight. Its lap times are less sensitive to the weight, which instead sets how quickly violations vanish during training. In racing, the safety corrections are sparse and the conditions of the analysis do not hold; the gain arises instead through the data collected during training. These gains come at the cost of additional training computation.
• Abstract（参考訳）: 状態制約および入力制約下でのニューラルネットワーク制御ポリシーの模倣学習設計を提案する。 トレーニングは標準的な模倣勾配ステップと$k$の安全ステップを交互に行い、ネットワークのアクションを安全なセットに向ける。 我々はこのスキームを政策行動の空間における不正確な射影勾配勾配として解析する。 予測されたアクションがすべての安全ステップで再計算され、各ステップが安全セットに向かって一貫したアクションを移動し、$k$が対数的に成長すると、トレーニング状態の漸近的制約満足度が得られ、模倣損失の制約された最適値までの距離が制限される。 非線形自律レースタスクにおいて,本手法を模倣損失に重み付き制約違反ペナルティを加えて比較する。 十分な重量で,本手法は制限のない模倣のラップタイムと一致し,違反エピソードの割合を15\%から1\%に減らし,ペナルティアプローチの最大重量の約6倍に短縮する。 ラップタイムは重量に敏感ではなく、トレーニング中に違反がいかに早く消えるかを判断する。 レースでは、安全性の修正はまばらであり、分析の条件は保たず、代わりにトレーニング中に収集されたデータを通じて利得が生じる。 これらの利益は、追加のトレーニング計算のコストで得られます。

関連論文リスト

• CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors [1.7619347523562965]
  我々は,基礎となる学習アルゴリズムを変更することなく,四重項に対する姿勢制約を強制するランタイムセーフティ層であるCALOSを提案する。 安全層はまた、トレーニングの収束を加速し、最適以下のポリシーを作成せずにデータ効率を向上させる。
  論文  参考訳（メタデータ） (2026-09-15T19:08:07Z)
• PACT: Self-Evolving Physical Safety Alignment for Diffusion Policies in Embodied Manipulation [38.43792325467372]
  既存のアプローチでは、トレーニング中に早期に安全を課すか、テスト時に外部ガードレールを介して反応する。 本研究では,制約可能な領域に事前の拡散政策を立案する自己進化型ポストトレーニングフレームワークである,制約付き軌道の物理安全アライメント(PACT)を提案する。 シミュレーションおよび実世界の実施された操作ベンチマークでは、PACTは安全性違反を平均で31.0%削減し、タスク成功を30.7%改善した。
  論文  参考訳（メタデータ） (2026-06-07T02:27:53Z)
• Constraint-Aware Reinforcement Learning via Adaptive Action Scaling [6.6638441348404855]
  本稿では,予測制約違反に基づいてエージェントの行動をスケールするモジュール型コスト認識レギュレータを提案する。 規制当局は、行動の抑制を回避しつつ、制約違反を最小限に抑えるよう訓練されている。 提案手法は, SAC や TD3 などの非政治的 RL 手法とシームレスに連携し, 安全ガイムの移動作業における最先端のリターン・ツー・コスト比を実現する。
  論文  参考訳（メタデータ） (2025-10-13T14:59:28Z)
• A Unified Noise-Curvature View of Loss of Trainability [8.602734307457387]
  継続的学習におけるトレーニング容易性(LoT)の喪失は、タスクが進化するにつれて、ステップが改善されなくなります。 バッチサイズ対応勾配雑音境界と曲率ボラティリティ制御境界の2つの相補的基準を導入する。 このしきい値を用いることで、各レイヤを安全な限界以下に維持する、単純なレイヤごとのスケジューラを構築します。
  論文  参考訳（メタデータ） (2025-09-24T02:11:13Z)
• Accelerating Augmentation Invariance Pretraining [7.772780341646099]
  我々は、特に視覚変換器(ViT)の事前学習において、対照的な学習手法の計算課題に取り組む。 様々なシーケンス長の入力をまたいで一般化するViTのユニークな能力を生かしたアクセラレーションフレームワークを提案する。 本手法では,ランダム化トークンドロップアウトやフレキシブルパッチスケーリングなどのシーケンス圧縮戦略を併用することにより,勾配推定のコストを低減し,収束を加速する。
  論文  参考訳（メタデータ） (2024-10-27T21:53:33Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• Fast Adversarial Training with Adaptive Step Size [62.37203478589929]
  トレーニングインスタンスの観点から,この現象を考察する。 適応ステップサイズ(ATAS)を用いた逆学習法を提案する。 ATASは、その勾配ノルムに逆比例するインスタンス順応的なステップサイズを学習する。
  論文  参考訳（メタデータ） (2022-06-06T08:20:07Z)
• Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations [64.39401322671803]
  本稿では、トレーニング時安全違反をゼロとした安全RLアルゴリズムの可能性について検討する。 本稿では、バリア証明書、動的モデル、ポリシーを反復的に学習する、CRABS(Co-trained Barrier Certificate for Safe RL)を提案する。
  論文  参考訳（メタデータ） (2021-08-04T04:59:05Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• Do We Need Zero Training Loss After Achieving Zero Training Error? [76.44358201918156]
  本研究では,遠心分離法(Emphflooding)と呼ばれる直接解法を提案する。 本研究では, 浸水により性能が向上し, 副産物として, 試験損失の2重降下曲線が誘導されることを実験的に示す。
  論文  参考訳（メタデータ） (2020-02-20T12:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。