論文の概要: Context-Aware Composition of Agent Policies by Markov Decision Process
Entity Embeddings and Agent Ensembles
- arxiv url: http://arxiv.org/abs/2308.14521v1
- Date: Mon, 28 Aug 2023 12:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 14:06:40.728302
- Title: Context-Aware Composition of Agent Policies by Markov Decision Process
Entity Embeddings and Agent Ensembles
- Title（参考訳）: マルコフ決定過程のエンティティ埋め込みとエージェントアンサンブルによるエージェントポリシーの文脈対応構成
- Authors: Nicole Merkle, Ralf Mikut
- Abstract要約: 計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。
サービスを実行し、目標志向の行動を実行するためには、エージェントは事前の知識を必要とする。
異種コンテキストの表現を可能にする新しいシミュレーションベースアプローチを提案する。
- 参考スコア（独自算出の注目度）: 1.124711723767572
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Computational agents support humans in many areas of life and are therefore
found in heterogeneous contexts. This means that agents operate in rapidly
changing environments and can be confronted with huge state and action spaces.
In order to perform services and carry out activities in a goal-oriented
manner, agents require prior knowledge and therefore have to develop and pursue
context-dependent policies. The problem is that prescribing policies in advance
is limited and inflexible, especially in dynamically changing environments.
Moreover, the context of an agent determines its choice of actions. Since the
environments in which agents operate can be stochastic and complex in terms of
the number of states and feasible actions, activities are usually modelled in a
simplified way by Markov decision processes so that agents with reinforcement
learning are able to learn policies that help to capture the context and act
accordingly to optimally perform activities. However, training policies for all
possible contexts using reinforcement learning is time-consuming. A requirement
and challenge for agents is to learn strategies quickly and respond immediately
in cross-context environments and applications. In this work, we propose a
novel simulation-based approach that enables a) the representation of
heterogeneous contexts through knowledge graphs and entity embeddings and b)
the context-aware composition of policies on demand by ensembles of agents
running in parallel. The evaluation we performed on the "Virtual Home" dataset
indicates that agents that need to seamlessly switch between different
contexts, can request on-the-fly composed policies that lead to the successful
completion of context-appropriate activities without having to learn these
policies in lengthy training steps and episodes, in contrast to agents that
apply reinforcement learning.
- Abstract（参考訳）: 計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。
これはエージェントが急速に変化する環境で動作し、巨大な状態とアクションスペースに直面する可能性があることを意味する。
サービスを実行し、目標指向の方法で活動を行うためには、エージェントは事前の知識を必要とし、従ってコンテキスト依存のポリシーを開発し、追求しなければならない。
問題は、特に動的に変化する環境において、事前にポリシーを規定することは限定的で柔軟性がないことである。
さらに、エージェントのコンテキストはアクションの選択を決定する。
エージェントが動作する環境は、状態の数や実行可能なアクションの数の観点から確率的かつ複雑であるため、アクティビティは通常、マルコフ決定プロセスによって単純化された方法でモデル化され、強化学習を持つエージェントは、コンテキストを捉え、アクティビティを最適に実行するために行動するのに役立つポリシーを学ぶことができる。
しかし、強化学習を用いたあらゆる可能な文脈に対する訓練方針は時間がかかる。
エージェントの要件と課題は、素早く戦略を学び、コンテキスト横断環境やアプリケーションで即座に応答することである。
本研究では,シミュレーションに基づく新しい手法を提案する。
イ 知識グラフ及び実体埋め込みによる異質な文脈の表現
b) 並行して実行されるエージェントの集合による需要政策の文脈対応構成
仮想ホーム」データセットで行った評価は、異なるコンテキストをシームレスに切り替える必要があるエージェントが、強化学習を適用するエージェントとは対照的に、これらのポリシーを長いトレーニングステップやエピソードで学ぶことなく、文脈に合った活動の完了につながる、オンザフライで構成されたポリシーを要求できることを示している。
関連論文リスト
- I Know How: Combining Prior Policies to Solve New Tasks [17.214443593424498]
マルチタスク強化学習は、継続的に進化し、新しいシナリオに適応できるエージェントを開発することを目的としている。
新しいタスクごとにスクラッチから学ぶことは、実行可能な、あるいは持続可能な選択肢ではない。
我々は、共通の形式を提供する新しいフレームワーク、I Know Howを提案する。
論文 参考訳（メタデータ） (2024-06-14T08:44:51Z) - Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning [4.902544998453533]
環境の重力レベルなどの文脈的手がかりの理解と活用は、堅牢な一般化に不可欠である。
提案アルゴリズムは, 様々なシミュレートされた領域における一般化を改良し, ゼロショット設定における事前の文脈学習技術より優れていることを示す。
論文 参考訳（メタデータ） (2024-04-15T07:31:48Z) - AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents [58.807802111818994]
オープンな語彙の指示に従って物理的に妥当な相互作用を学習する新しい階層的手法であるAnySkillを提案する。
我々のアプローチは、模倣学習によって訓練された低レベルコントローラを介して、一連のアトミックアクションを開発することから始まります。
提案手法の重要な特徴は,手動の報酬工学を使わずにオブジェクトとのインタラクションを学習する,高レベルなポリシーに対する画像ベースの報酬の利用である。
論文 参考訳（メタデータ） (2024-03-19T15:41:39Z) - Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization [53.510942601223626]
大規模言語モデル(LLM)は多様なタスクに対して堅牢な問題解決能力を示す。
これらのタスクソルバは、タスクルールを通知し、行動を調整するために手作業によるプロンプトを必要とする。
本稿では,ポリシーレベルのリフレクションと最適化を備えた LLM ベースのエージェントである Agent-Pro を提案する。
論文 参考訳（メタデータ） (2024-02-27T15:09:20Z) - Dynamics Generalisation in Reinforcement Learning via Adaptive
Context-Aware Policies [13.410372954752496]
一般化を改善するために,行動学習に文脈をどのように組み込むべきかについて検討する。
ニューラルネットワークアーキテクチャであるDecision Adapterを導入し、アダプタモジュールの重みを生成し、コンテキスト情報に基づいてエージェントの動作を条件付ける。
決定適応器は以前に提案したアーキテクチャの有用な一般化であり、より優れた一般化性能をもたらすことを実証的に示す。
論文 参考訳（メタデータ） (2023-10-25T14:50:05Z) - Constructing a Good Behavior Basis for Transfer using Generalized Policy
Updates [63.58053355357644]
そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。
理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
論文 参考訳（メタデータ） (2021-12-30T12:20:46Z) - DisCo RL: Distribution-Conditioned Reinforcement Learning for
General-Purpose Policies [116.12670064963625]
分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。
DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
論文 参考訳（メタデータ） (2021-04-23T16:51:58Z) - Policy Supervectors: General Characterization of Agents by their
Behaviour [18.488655590845163]
訪問状態の分布によってエージェントを特徴付ける政策スーパーベクターを提案する。
ポリシースーパーベクターは、デザイン哲学に関係なくポリシーを特徴づけ、単一のワークステーションマシン上で数千のポリシーにスケールすることができる。
本研究では、強化学習、進化学習、模倣学習における政策の進化を研究することによって、手法の適用性を実証する。
論文 参考訳（メタデータ） (2020-12-02T14:43:16Z) - Learning Adaptive Exploration Strategies in Dynamic Environments Through
Informed Policy Regularization [100.72335252255989]
本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。
本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-05-06T16:14:48Z) - Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。
我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
論文 参考訳（メタデータ） (2020-04-21T03:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。