論文の概要: Learning Abstract and Transferable Representations for Planning
- arxiv url: http://arxiv.org/abs/2205.02092v1
- Date: Wed, 4 May 2022 14:40:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 13:31:59.315929
- Title: Learning Abstract and Transferable Representations for Planning
- Title（参考訳）: 計画のための抽象表現と伝達表現の学習
- Authors: Steven James, Benjamin Rosman, George Konidaris
- Abstract要約: 本稿では,エージェントの環境状態の抽象化を自律的に学習するフレームワークを提案する。
これらの抽象化はタスクに依存しないので、新しいタスクを解決するために再利用することができる。
本稿では,これらの可搬型表現と問題固有の表現を組み合わせて,特定のタスクの音響記述を生成する方法について述べる。
- 参考スコア（独自算出の注目度）: 25.63560394067908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We are concerned with the question of how an agent can acquire its own
representations from sensory data. We restrict our focus to learning
representations for long-term planning, a class of problems that
state-of-the-art learning methods are unable to solve. We propose a framework
for autonomously learning state abstractions of an agent's environment, given a
set of skills. Importantly, these abstractions are task-independent, and so can
be reused to solve new tasks. We demonstrate how an agent can use an existing
set of options to acquire representations from ego- and object-centric
observations. These abstractions can immediately be reused by the same agent in
new environments. We show how to combine these portable representations with
problem-specific ones to generate a sound description of a specific task that
can be used for abstract planning. Finally, we show how to autonomously
construct a multi-level hierarchy consisting of increasingly abstract
representations. Since these hierarchies are transferable, higher-order
concepts can be reused in new tasks, relieving the agent from relearning them
and improving sample efficiency. Our results demonstrate that our approach
allows an agent to transfer previous knowledge to new tasks, improving sample
efficiency as the number of tasks increases.
- Abstract（参考訳）: 我々は、エージェントが感覚データから独自の表現を取得できるかどうかを懸念する。
我々は、最先端の学習方法では解決できない問題のクラスである長期計画のための学習表現に焦点を絞っている。
本稿では,エージェントの環境の抽象化を自律的に学習するための枠組みを提案する。
これらの抽象化はタスクに依存しないので、新しいタスクを解決するために再利用することができる。
エージェントが既存のオプションセットを使用して、egoおよびオブジェクト中心の観察から表現を取得する方法を示す。
これらの抽象化は、新しい環境で同じエージェントによってすぐに再利用できる。
本稿では,これらのポータブル表現を問題特定表現と組み合わせ,抽象計画に使用できる特定のタスクの健全な記述を生成する方法を示す。
最後に,より抽象的な表現からなる多層階層を自律的に構築する方法を示す。
これらの階層は転送可能であるため、新しいタスクで高次概念を再利用することができ、エージェントの再学習を軽減し、サンプル効率を向上させることができる。
その結果,エージェントが従来の知識を新たなタスクに移すことができ,タスク数の増加に伴ってサンプル効率が向上することが示された。
関連論文リスト
- VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。
提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
論文 参考訳（メタデータ） (2024-10-30T16:11:05Z) - Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。
勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
論文 参考訳（メタデータ） (2024-07-24T15:28:08Z) - Emergence and Function of Abstract Representations in Self-Supervised
Transformers [0.0]
本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。
ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。
正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
論文 参考訳（メタデータ） (2023-12-08T20:47:15Z) - State Representations as Incentives for Reinforcement Learning Agents: A Sim2Real Analysis on Robotic Grasping [3.4777703321218225]
本研究は、特定のロボットタスクを解くためのエージェントのインセンティブ化における様々な表現の効果について検討する。
手作りの数値状態から符号化された画像ベース表現に至るまで、状態表現の連続体が定義される。
シミュレーションにおけるエージェントの課題解決能力に対する各表現の影響と実ロボットへの学習方針の伝達可能性について検討した。
論文 参考訳（メタデータ） (2023-09-21T11:41:22Z) - Contextual Pre-planning on Reward Machine Abstractions for Enhanced
Transfer in Deep Reinforcement Learning [20.272179949107514]
深層強化学習(DRL)エージェントは、訓練されたタスクに過度に適合し、小さな環境変化に適応できない傾向にある。
我々は、報酬機(RM)を用いた現在の課題を表現するための新しい手法を提案する。
提案手法は, エージェントに対して, 現在の抽象状態からの最適遷移の記号表現を提供し, それらの遷移を達成するための報酬を与える。
論文 参考訳（メタデータ） (2023-07-11T12:28:05Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-04-17T01:33:24Z) - Discrete State-Action Abstraction via the Successor Representation [3.453310639983932]
抽象化(Abstraction)は、エージェントに潜伏空間の遷移に固有の報酬を与えるアプローチである。
私たちのアプローチは、基盤となる環境の離散的な抽象化を自動的に学習する最初のものです。
提案アルゴリズムであるDSAA(Disdisrete State-Action Abstraction)は,これらのオプションのトレーニングと,それを用いて環境のより効率的な探索を行う。
論文 参考訳（メタデータ） (2022-06-07T17:37:30Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-16T11:23:42Z) - Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon
Reasoning [120.38381203153159]
強化学習は、複雑なタスクを効果的に実行するポリシーを訓練することができる。
長期のタスクでは、これらのメソッドのパフォーマンスは水平線とともに劣化し、しばしば推論と下層のスキルの構築を必要とします。
そこで我々は,各下層スキルに対応する値関数を用いて,そのような表現を生成するシンプルな手法として,値関数空間を提案する。
論文 参考訳（メタデータ） (2021-11-04T22:46:16Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳（メタデータ） (2020-11-19T18:47:40Z) - Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。
この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。
簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
論文 参考訳（メタデータ） (2020-07-01T19:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。