Fugu-MT 論文翻訳(概要): Inverse Reinforcement Learning with Multiple Planning Horizons

論文の概要: Inverse Reinforcement Learning with Multiple Planning Horizons

arxiv url: http://arxiv.org/abs/2409.18051v1
Date: Thu, 26 Sep 2024 16:55:31 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 21:38:28.265732
Title: Inverse Reinforcement Learning with Multiple Planning Horizons
Title（参考訳）: 複数の計画ホライズンを用いた逆強化学習
Authors: Jiayu Yao, Weiwei Pan, Finale Doshi-Velez, Barbara E Engelhardt,
Abstract要約: 本研究では、専門家が共有報酬関数の下で計画している逆強化学習(IRL)問題について検討する。割引係数の知識がなければ、報酬関数はより大きな実現可能な解集合を持ち、既存のIRLアプローチでは報酬関数を特定するのが難しくなる。我々は,専門家のポリシーを再構築するエージェント特異的割引因子を用いて,グローバルなマルチエージェント報酬関数を学習できるアルゴリズムを開発した。
参考スコア（独自算出の注目度）: 23.488956376738635
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we study an inverse reinforcement learning (IRL) problem where the experts are planning under a shared reward function but with different, unknown planning horizons. Without the knowledge of discount factors, the reward function has a larger feasible solution set, which makes it harder for existing IRL approaches to identify a reward function. To overcome this challenge, we develop algorithms that can learn a global multi-agent reward function with agent-specific discount factors that reconstruct the expert policies. We characterize the feasible solution space of the reward function and discount factors for both algorithms and demonstrate the generalizability of the learned reward function across multiple domains.
Abstract（参考訳）: 本研究では、専門家が共有報酬関数の下で計画している逆強化学習(IRL)問題について検討する。割引係数の知識がなければ、報酬関数はより大きな実現可能な解集合を持ち、既存のIRLアプローチでは報酬関数の特定が困難になる。この課題を克服するために、専門家のポリシーを再構築するエージェント固有の割引要素を持つグローバルマルチエージェント報酬関数を学習できるアルゴリズムを開発する。報奨関数の実現可能な解空間と両アルゴリズムの割引係数を特徴付けるとともに,学習した報奨関数を複数の領域にわたって一般化可能であることを示す。

関連論文リスト

RILe: Reinforced Imitation Learning [60.63173816209543]
RILeは、学生のパフォーマンスと専門家によるデモンストレーションとの整合性に基づいて、動的報酬関数を学習する新しいトレーナー学生システムである。 RILeは、従来のメソッドがフェールする複雑な環境でのより良いパフォーマンスを実現し、複雑なシミュレートされたロボット移動タスクにおいて、既存のメソッドを2倍の性能で上回る。
論文参考訳（メタデータ） (2024-06-12T17:56:31Z)
Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
論文参考訳（メタデータ） (2024-01-08T12:39:25Z)
A Novel Variational Lower Bound for Inverse Reinforcement Learning [5.370126167091961]
逆強化学習(IRL)は、専門家の軌道から報酬関数を学習しようとする。 IRL(VLB-IRL)のための新しい変分下界について述べる。本手法は,学習した報酬関数の下で報酬関数とポリシーを同時に学習する。
論文参考訳（メタデータ） (2023-11-07T03:50:43Z)
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
論文参考訳（メタデータ） (2022-08-09T17:29:49Z)
Invariance in Policy Optimisation and Partial Identifiability in Reward Learning [67.4640841144101]
一般の報奨学習データソースに与えられる報酬関数の部分的識別性を特徴付ける。また、政策最適化など、下流業務におけるこの部分的識別可能性の影響も分析する。
論文参考訳（メタデータ） (2022-03-14T20:19:15Z)
Learning Long-Term Reward Redistribution via Randomized Return Decomposition [18.47810850195995]
軌跡フィードバックを用いたエピソード強化学習の問題点について考察する。これは、エージェントが各軌道の終端で1つの報酬信号しか取得できないような、報酬信号の極端な遅延を指す。本稿では,代償再分配アルゴリズムであるランダムリターン分解(RRD)を提案する。
論文参考訳（メタデータ） (2021-11-26T13:23:36Z)
Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
論文参考訳（メタデータ） (2021-04-20T18:16:21Z)
Difference Rewards Policy Gradients [17.644110838053134]
本稿では,分散化政策の学習を可能にするために,差分報酬とポリシを組み合わせた新しいアルゴリズムを提案する。報酬関数を直接区別することで、Dr.ReinforceはQ-関数の学習に伴う困難を避けることができる。差分報酬を推定するために用いられる追加報酬ネットワークを学習するDr.Reinforceのバージョンの有効性を示す。
論文参考訳（メタデータ） (2020-12-21T11:23:17Z)
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization [43.51553742077343]
逆強化学習(IRL)は、価値アライメントやデモからのロボット学習など、さまざまなタスクに関係している。本稿では,ベイズ最適化IRL(BO-IRL)と呼ばれるIRLフレームワークを提案する。
論文参考訳（メタデータ） (2020-11-17T10:17:45Z)
Reward Propagation Using Graph Convolutional Networks [61.32891095232801]
本稿では,グラフ表現学習のアイデアを活用した潜在機能学習フレームワークを提案する。我々のアプローチは、強化学習の確率論的推論と組み合わせて、重要な要素として使用するグラフ畳み込みネットワークに依存している。
論文参考訳（メタデータ） (2020-10-06T04:38:16Z)
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning [22.242379207077217]
報酬関数のコードをRLエージェントに示すことで、関数の内部構造を利用して最適なポリシーを学習する方法を示す。まず、報酬関数の仕様をサポートする有限状態機械の一種である報酬機械を提案する。次に、この構造を利用して、自動報酬形成、タスク分解、非政治的学習による対実的推論など、学習を支援する方法について述べる。
論文参考訳（メタデータ） (2020-10-06T00:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。