論文の概要: Learning Dynamic Attribute-factored World Models for Efficient
Multi-object Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2307.09205v1
- Date: Tue, 18 Jul 2023 12:41:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 14:53:38.366671
- Title: Learning Dynamic Attribute-factored World Models for Efficient
Multi-object Reinforcement Learning
- Title（参考訳）: 効率的な多目的強化学習のための動的属性分解世界モデル学習
- Authors: Fan Feng and Sara Magliacane
- Abstract要約: 多くの強化学習タスクでは、エージェントは異なるタイプの多くのオブジェクトと対話し、目に見えない組み合わせやオブジェクト数に一般化する必要がある。
最近の研究は、サンプル効率を改善するために、オブジェクト指向表現と階層的抽象化の利点を示している。
本稿では、動的属性FacTored RL(DAFT-RL)フレームワークを導入し、オブジェクト属性の係数化の利点を利用する。
- 参考スコア（独自算出の注目度）: 6.447052211404121
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In many reinforcement learning tasks, the agent has to learn to interact with
many objects of different types and generalize to unseen combinations and
numbers of objects. Often a task is a composition of previously learned tasks
(e.g. block stacking). These are examples of compositional generalization, in
which we compose object-centric representations to solve complex tasks. Recent
works have shown the benefits of object-factored representations and
hierarchical abstractions for improving sample efficiency in these settings. On
the other hand, these methods do not fully exploit the benefits of
factorization in terms of object attributes. In this paper, we address this
opportunity and introduce the Dynamic Attribute FacTored RL (DAFT-RL)
framework. In DAFT-RL, we leverage object-centric representation learning to
extract objects from visual inputs. We learn to classify them in classes and
infer their latent parameters. For each class of object, we learn a class
template graph that describes how the dynamics and reward of an object of this
class factorize according to its attributes. We also learn an interaction
pattern graph that describes how objects of different classes interact with
each other at the attribute level. Through these graphs and a dynamic
interaction graph that models the interactions between objects, we can learn a
policy that can then be directly applied in a new environment by just
estimating the interactions and latent parameters. We evaluate DAFT-RL in three
benchmark datasets and show our framework outperforms the state-of-the-art in
generalizing across unseen objects with varying attributes and latent
parameters, as well as in the composition of previously learned tasks.
- Abstract（参考訳）: 多くの強化学習タスクでは、エージェントは異なるタイプの多くのオブジェクトと対話し、目に見えない組み合わせやオブジェクト数に一般化する必要がある。
多くの場合、タスクは以前に学習したタスク(ブロックの積み重ねなど)の集合である。
これらは合成一般化の例であり、複雑なタスクを解くために対象中心表現を構成する。
最近の研究は、これらの設定におけるサンプル効率を改善するために、オブジェクト指向表現と階層的抽象化の利点を示している。
一方、これらのメソッドは、オブジェクト属性の観点で因子化の利点を十分に活用していない。
本稿では、この機会に対処し、動的属性FacTored RL(DAFT-RL)フレームワークを導入する。
DAFT-RLでは、オブジェクト中心表現学習を利用して視覚入力からオブジェクトを抽出する。
私たちはそれらをクラスに分類し、潜在パラメータを推測することを学びます。
各クラスのオブジェクトについて、クラステンプレートグラフを学び、このクラスのオブジェクトのダイナミクスと報酬が属性に応じてどのように分解されるかを記述する。
また、異なるクラスのオブジェクトが属性レベルで相互に相互作用する方法を記述する相互作用パターングラフも学習します。
これらのグラフとオブジェクト間の相互作用をモデル化する動的相互作用グラフを通じて、相互作用と潜伏パラメータを推定するだけで、新しい環境で直接適用できるポリシーを学ぶことができる。
我々は,DAFT-RLを3つのベンチマークデータセットで評価し,これまでに学習したタスクの合成だけでなく,属性や潜時パラメータの異なる未確認オブジェクトをまたいだ一般化において,我々のフレームワークが最先端の手法よりも優れていることを示す。
関連論文リスト
- Towards reporting bias in visual-language datasets: bimodal augmentation
by decoupling object-attribute association [23.06058982328083]
視覚言語データセットにおけるレポートバイアスの存在に焦点をあてる。
このバイアスを軽減するために,バイモーダル拡張(BiAug)アプローチを提案する。
BiAugは、リッチなオブジェクト-属性のペアリングで視覚言語例を合成し、クロスモーダルなハードネガティブを構築する。
論文 参考訳（メタデータ） (2023-10-02T16:48:50Z) - Universal Instance Perception as Object Discovery and Retrieval [90.96031157557806]
UNIは多様なインスタンス認識タスクを統一されたオブジェクト発見・検索パラダイムに再構成する。
入力プロンプトを変更するだけで、さまざまな種類のオブジェクトを柔軟に知覚することができる。
UNIは10のインスタンスレベルのタスクから20の挑戦的なベンチマークで優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-03-12T14:28:24Z) - Disentangling Visual Embeddings for Attributes and Objects [38.27308243429424]
オブジェクト属性認識における合成ゼロショット学習の問題点について検討する。
以前の作業では、オブジェクト分類のために事前訓練されたバックボーンネットワークで抽出された視覚的特徴を使用する。
視覚空間における属性とオブジェクトの特徴をアンタングルできる新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-05-17T17:59:36Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-04-10T23:27:19Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳（メタデータ） (2022-04-05T09:25:28Z) - Can I see an Example? Active Learning the Long Tail of Attributes and
Relations [64.50739983632006]
視覚シーンの属性や関係を問う,新たな逐次能動学習フレームワークを提案する。
従来のアクティブな学習手法では、特定の例のラベルを求めるが、エージェントが特定のカテゴリからサンプルを求めることができるように、このフレーミングを反転させる。
このフレーミングを用いて、データ分布の尾からサンプルを求めるアクティブサンプリング手法を導入し、Visual Genomeの古典的アクティブラーニング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-03-11T19:28:19Z) - Object Pursuit: Building a Space of Objects via Discriminative Weight
Generation [23.85039747700698]
視覚学習と理解のためのオブジェクト中心表現を継続的に学習するフレームワークを提案する。
我々は、オブジェクト中心の表現を学習しながら、オブジェクトとそれに対応するトレーニング信号の多様なバリエーションをサンプリングするために、インタラクションを活用する。
提案するフレームワークの重要な特徴について広範な研究を行い,学習した表現の特徴を分析した。
論文 参考訳（メタデータ） (2021-12-15T08:25:30Z) - Plug and Play, Model-Based Reinforcement Learning [60.813074750879615]
我々は、既知のオブジェクトクラスから新しいオブジェクトをゼロショットで統合できるオブジェクトベースの表現を導入する。
これは、グローバル遷移力学を局所遷移関数の和として表現することで達成される。
実験により, 様々なセットアップにおいて, サンプル効率が達成できることが示された。
論文 参考訳（メタデータ） (2021-08-20T01:20:15Z) - A Few-Shot Sequential Approach for Object Counting [63.82757025821265]
画像中のオブジェクトに逐次出席するクラスアテンション機構を導入し,それらの特徴を抽出する。
提案手法は点レベルのアノテーションに基づいて訓練され,モデルのクラス依存的・クラス依存的側面を乱す新しい損失関数を用いる。
本稿では,FSODやMS COCOなど,さまざまなオブジェクトカウント/検出データセットについて報告する。
論文 参考訳（メタデータ） (2020-07-03T18:23:39Z) - Look-into-Object: Self-supervised Structure Modeling for Object
Recognition [71.68524003173219]
我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。
認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。
提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-03-31T12:22:51Z) - Relevance-Guided Modeling of Object Dynamics for Reinforcement Learning [0.0951828574518325]
現在の深層強化学習(RL)アプローチでは、環境に関する最小限の事前知識が組み込まれている。
本稿では,最小限およびタスク固有のオブジェクト表現を迅速に決定するために,オブジェクトのダイナミクスと振る舞いを推論するフレームワークを提案する。
また、オブジェクト表現と標準RLと計画アルゴリズムを用いて、Atariゲームにおけるこのフレームワークの可能性を強調し、既存の深層RLアルゴリズムよりも劇的に高速に学習する。
論文 参考訳（メタデータ） (2020-03-03T08:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。