Fugu-MT 論文翻訳(概要): Inverse Reinforcement Learning a Control Lyapunov Approach

論文の概要: Inverse Reinforcement Learning a Control Lyapunov Approach

arxiv url: http://arxiv.org/abs/2104.04483v1
Date: Fri, 9 Apr 2021 17:08:16 GMT
ステータス: 処理完了
システム内更新日: 2021-04-12 13:52:44.401819
Title: Inverse Reinforcement Learning a Control Lyapunov Approach
Title（参考訳）: 制御リアプノフ法による逆強化学習
Authors: Samuel Tesfazgi, Armin Lederer and Sandra Hirche
Abstract要約: 本研究では,IRL推論問題を実演から学習制御Lyapunov関数に再構成する。提案手法の柔軟性は,連続環境における目標指向運動のデモンストレーションから学ぶことで示される。
参考スコア（独自算出の注目度）: 8.996358964203298
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Inferring the intent of an intelligent agent from demonstrations and subsequently predicting its behavior, is a critical task in many collaborative settings. A common approach to solve this problem is the framework of inverse reinforcement learning (IRL), where the observed agent, e.g., a human demonstrator, is assumed to behave according to an intrinsic cost function that reflects its intent and informs its control actions. In this work, we reformulate the IRL inference problem to learning control Lyapunov functions (CLF) from demonstrations by exploiting the inverse optimality property, which states that every CLF is also a meaningful value function. Moreover, the derived CLF formulation directly guarantees stability of inferred control policies. We show the flexibility of our proposed method by learning from goal-directed movement demonstrations in a continuous environment.
Abstract（参考訳）: 知的なエージェントの意図をデモンストレーションから推測し、その後行動を予測することは、多くの協調的な環境で重要なタスクである。この問題を解決するための一般的なアプローチは逆強化学習(IRL)の枠組みであり、観察されたエージェント、例えば人間のデモレーターは、その意図を反映し制御行動を通知する本質的なコスト関数に従って振る舞うと仮定される。本研究では,任意のclfが有意値関数であることを示す逆最適性を利用して,実演から学習制御リアプノフ関数(clf)へirl推論問題を再構成する。さらに、導出されたCLF定式化は、推論制御ポリシーの安定性を直接保証する。提案手法の柔軟性は,連続環境における目標指向運動のデモンストレーションから学ぶことで示される。

関連論文リスト

Guided Reinforcement Learning for Robust Multi-Contact Loco-Manipulation [12.377289165111028]
強化学習(Reinforcement Learning, RL)は、各タスクに合わせた細かなマルコフ決定プロセス(MDP)設計を必要とすることが多い。本研究は,マルチコンタクトロコ操作タスクの動作合成と制御に対する体系的アプローチを提案する。モデルベース軌道から生成されたタスク毎の1つの実演のみを用いて,RLポリシーを訓練するためのタスク非依存のMDPを定義する。
論文参考訳（メタデータ） (2024-10-17T17:46:27Z)
A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning [48.59516337905877]
優れた表現を学ぶことは、強化学習(RL)エージェントにとって重要な課題である。近年の研究では、これらのアルゴリズムに関する理論的洞察が生まれている。我々は,行動条件の自己予測的目的を分析することによって,理論と実践のギャップを埋める一歩を踏み出した。
論文参考訳（メタデータ） (2024-06-04T07:22:12Z)
Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-24T15:13:53Z)
Stable Inverse Reinforcement Learning: Policies from Control Lyapunov Landscapes [4.229902091180109]
実験データからリアプノフ関数を学習するための新しい安定度認証IRL手法を提案する。関連する制御ポリシーのクローズドフォーム表現を利用することで、CLFの空間を効率的に探索することができる。我々は,CLFが提供する最適性に関する理論的解析を行い,シミュレーションデータと実世界データの両方を用いて我々のアプローチを評価する。
論文参考訳（メタデータ） (2024-05-14T16:40:45Z)
Actively Learning Reinforcement Learning: A Stochastic Optimal Control Approach [3.453622106101339]
本研究では,2つの相互に結びついた目的を達成するための枠組みを提案する。 (i) 積極的な探索と意図的な情報収集を伴う強化学習と, (ii) 最適制御法の計算的難易度を克服する枠組みである。我々は、強化学習を用いて最適制御則を計算することにより、両方の目的にアプローチする。一定の探索と搾取バランスとは異なり、学習プロセスが終了しても、警告と探索はリアルタイムでコントローラによって自動的に行われる。
論文参考訳（メタデータ） (2023-09-18T18:05:35Z)
Discovering Individual Rewards in Collective Behavior through Inverse Multi-Agent Reinforcement Learning [3.4437947384641032]
政外逆マルチエージェント強化学習アルゴリズム(IMARL)を導入する。実演を活用することで,アルゴリズムは報酬関数を自動的に発見し,エージェントの効果的なポリシーを学習する。提案するIMARLアルゴリズムは, 構成成分の観点から, 集合力学を理解するための重要なステップである。
論文参考訳（メタデータ） (2023-05-17T20:07:30Z)
D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning [48.57484755946714]
D-Shapeは模倣学習(IL)と強化学習(RL)を組み合わせた新しい手法である本稿では,ILとRLを組み合わせた新たな手法であるD-Shapeを紹介する。スパース・リワード・グリッドワールド領域におけるD-Shapeの有効性を実験的に検証し、サンプル効率の観点からRLよりも改善し、最適ポリシーに一貫した収束を示す。
論文参考訳（メタデータ） (2022-10-26T02:28:32Z)
Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
論文参考訳（メタデータ） (2022-04-07T17:16:52Z)
Residual Reinforcement Learning from Demonstrations [51.56457466788513]
報酬信号の最大化のために,従来のフィードバックコントローラからの制御動作を適用することで,ロボット作業の課題を解決する手段として,残留強化学習(Residual reinforcement learning, RL)が提案されている。視覚的インプットから学習するための残差定式化を拡張し,実演を用いて報酬をスパースする。 6-DoFのUR5アームと28-DoFのデキスタラスハンドのシミュレーション操作に関する実験的評価は、デモからの残留RLが、行動クローニングやRL微調整よりも柔軟に、見えない環境条件に一般化できることを実証している。
論文参考訳（メタデータ） (2021-06-15T11:16:49Z)
Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
エンパワーメント原理は直立位置での力学系の教師なし安定化を可能にする本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
論文参考訳（メタデータ） (2020-07-14T21:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。