論文の概要: Context-Aware Composition of Agent Policies by Markov Decision Process
Entity Embeddings and Agent Ensembles
- arxiv url: http://arxiv.org/abs/2308.14521v2
- Date: Wed, 30 Aug 2023 11:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 10:40:52.661123
- Title: Context-Aware Composition of Agent Policies by Markov Decision Process
Entity Embeddings and Agent Ensembles
- Title(参考訳): マルコフ決定過程のエンティティ埋め込みとエージェントアンサンブルによるエージェントポリシーの文脈対応構成
- Authors: Nicole Merkle, Ralf Mikut
- Abstract要約: 計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。
サービスを実行し、目標志向の行動を実行するためには、エージェントは事前の知識を必要とする。
異種コンテキストの表現を可能にする新しいシミュレーションベースアプローチを提案する。
- 参考スコア(独自算出の注目度): 1.124711723767572
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Computational agents support humans in many areas of life and are therefore
found in heterogeneous contexts. This means they operate in rapidly changing
environments and can be confronted with huge state and action spaces. In order
to perform services and carry out activities in a goal-oriented manner, agents
require prior knowledge and therefore have to develop and pursue
context-dependent policies. However, prescribing policies in advance is limited
and inflexible, especially in dynamically changing environments. Moreover, the
context of an agent determines its choice of actions. Since the environments
can be stochastic and complex in terms of the number of states and feasible
actions, activities are usually modelled in a simplified way by Markov decision
processes so that, e.g., agents with reinforcement learning are able to learn
policies, that help to capture the context and act accordingly to optimally
perform activities. However, training policies for all possible contexts using
reinforcement learning is time-consuming. A requirement and challenge for
agents is to learn strategies quickly and respond immediately in cross-context
environments and applications, e.g., the Internet, service robotics,
cyber-physical systems. In this work, we propose a novel simulation-based
approach that enables a) the representation of heterogeneous contexts through
knowledge graphs and entity embeddings and b) the context-aware composition of
policies on demand by ensembles of agents running in parallel. The evaluation
we conducted with the "Virtual Home" dataset indicates that agents with a need
to switch seamlessly between different contexts, can request on-demand composed
policies that lead to the successful completion of context-appropriate
activities without having to learn these policies in lengthy training steps and
episodes, in contrast to agents that use reinforcement learning.
- Abstract(参考訳): 計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。
これは、急速に変化する環境で動作し、巨大な状態とアクション空間に直面することができることを意味する。
サービスを実行し、目標指向の方法で活動を行うためには、エージェントは事前の知識を必要とし、従ってコンテキスト依存のポリシーを開発し、追求しなければならない。
しかし、特に動的に変化する環境において、事前に規定する政策は限定的で柔軟性がない。
さらに、エージェントのコンテキストはアクションの選択を決定する。
環境は状態の数や実行可能な行動の点で確率的かつ複雑であるため、活動は通常マルコフの決定プロセスによって単純化された方法でモデル化され、例えば、強化学習を持つエージェントがポリシーを学習することができる。
しかし、強化学習を用いたあらゆる可能な文脈に対する訓練方針は時間がかかる。
エージェントの要求と課題は、迅速に戦略を学習し、インターネット、サービスロボティクス、サイバー物理システムなど、コンテキスト横断環境やアプリケーションで即座に対応することである。
本研究では,シミュレーションに基づく新しい手法を提案する。
イ 知識グラフ及び実体埋め込みによる異質な文脈の表現
b) 並行して実行されるエージェントの集合による需要政策の文脈対応構成
仮想ホーム」データセットを用いて行った評価は、異なるコンテキスト間でシームレスに切り替える必要のあるエージェントが、強化学習を利用するエージェントとは対照的に、これらのポリシーを長い訓練ステップやエピソードで学ぶことなく、状況に合った活動の完了につながるオンデマンド構成ポリシーを要求できることを示している。
関連論文リスト
- Agent-Pro: Learning to Evolve via Policy-Level Reflection and
Optimization [55.29142200038241]
Agent-Proはポリシーレベルのリフレクションと最適化を備えたLLMベースのエージェントである。
過去の軌道と信念を反復的に反映し、より良い政策のために不合理な信念を微調整する。
Agent-Proは、BlackjackとTexas Hold'emの2つのゲームで評価され、バニラLLMと特殊モデルを上回っている。
論文 参考訳(メタデータ) (2024-02-27T15:09:20Z) - Contrastive learning-based agent modeling for deep reinforcement
learning [31.293496061727932]
エージェントモデリングは、マルチエージェントシステムにおけるインテリジェントマシンエージェントの適応ポリシーを設計する際に必須である。
我々は,エゴエージェントの訓練・実行時の局所的な観察のみに依存する,コントラスト学習に基づくエージェントモデリング(CLAM)手法を考案した。
CLAMは、各エピソードの冒頭から、リアルタイムに一貫した高品質なポリシー表現を生成することができる。
論文 参考訳(メタデータ) (2023-12-30T03:44:12Z) - Dynamics Generalisation in Reinforcement Learning via Adaptive
Context-Aware Policies [13.410372954752496]
一般化を改善するために,行動学習に文脈をどのように組み込むべきかについて検討する。
ニューラルネットワークアーキテクチャであるDecision Adapterを導入し、アダプタモジュールの重みを生成し、コンテキスト情報に基づいてエージェントの動作を条件付ける。
決定適応器は以前に提案したアーキテクチャの有用な一般化であり、より優れた一般化性能をもたらすことを実証的に示す。
論文 参考訳(メタデータ) (2023-10-25T14:50:05Z) - Policy Architectures for Compositional Generalization in Control [71.61675703776628]
本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。
私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
論文 参考訳(メタデータ) (2022-03-10T06:44:24Z) - Learning Invariable Semantical Representation from Language for
Extensible Policy Generalization [4.457682773596843]
本稿では,要素ランダム化と呼ばれる意味的不変表現を学習する手法を提案する。
理論的には、ランダム化による意味論的不変表現の学習の実現可能性を証明する。
長期的課題に挑戦する実験は、我々の低レベル政策が環境変化に対するタスクに確実に一般化することを示しています。
論文 参考訳(メタデータ) (2022-01-26T08:04:27Z) - Constructing a Good Behavior Basis for Transfer using Generalized Policy
Updates [63.58053355357644]
そこで我々は,優れた政策集合を学習する問題を考察し,組み合わせることで,目に見えない多種多様な強化学習タスクを解くことができることを示した。
理論的には、独立したポリシーのセットと呼ぶ、特定の多様なポリシーのセットにアクセスできることによって、ハイレベルなパフォーマンスを即時に達成できることが示される。
論文 参考訳(メタデータ) (2021-12-30T12:20:46Z) - DisCo RL: Distribution-Conditioned Reinforcement Learning for
General-Purpose Policies [116.12670064963625]
分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。
DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
論文 参考訳(メタデータ) (2021-04-23T16:51:58Z) - Policy Supervectors: General Characterization of Agents by their
Behaviour [18.488655590845163]
訪問状態の分布によってエージェントを特徴付ける政策スーパーベクターを提案する。
ポリシースーパーベクターは、デザイン哲学に関係なくポリシーを特徴づけ、単一のワークステーションマシン上で数千のポリシーにスケールすることができる。
本研究では、強化学習、進化学習、模倣学習における政策の進化を研究することによって、手法の適用性を実証する。
論文 参考訳(メタデータ) (2020-12-02T14:43:16Z) - Learning Adaptive Exploration Strategies in Dynamic Environments Through
Informed Policy Regularization [100.72335252255989]
本研究では,動的環境に効果的に適応する探索探索探索戦略の課題について検討する。
本稿では,各タスクにおける報酬を最大化するために訓練された情報ポリシを用いて,RNNベースのポリシーのトレーニングを規則化する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-05-06T16:14:48Z) - Learning Goal-oriented Dialogue Policy with Opposite Agent Awareness [116.804536884437]
本稿では,目標指向対話における政策学習のための逆行動認識フレームワークを提案する。
我々は、その行動から相手エージェントの方針を推定し、この推定を用いてターゲットエージェントを対象ポリシーの一部として関連づけて改善する。
論文 参考訳(メタデータ) (2020-04-21T03:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。