論文の概要: SOLD: Reinforcement Learning with Slot Object-Centric Latent Dynamics

• arxiv url: http://arxiv.org/abs/2410.08822v1
• Date: Fri, 11 Oct 2024 14:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 21:45:38.142837
• Title: SOLD: Reinforcement Learning with Slot Object-Centric Latent Dynamics
• Title（参考訳）: SOLD:Slot Object-Centric Latent Dynamicsを用いた強化学習
• Authors: Malte Mosbach, Jan Niklas Ewertz, Angel Villar-Corrales, Sven Behnke,
• Abstract要約: Slot-Attention for Object-centric Latent Dynamicsは、画素入力からオブジェクト中心の動的モデルを学ぶ新しいアルゴリズムである。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。 以上の結果から,SOLDは,最先端のモデルベースRLアルゴリズムであるDreamerV3よりも,さまざまなベンチマークロボット環境において優れていた。
• 参考スコア（独自算出の注目度）: 16.020835290802548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a latent dynamics model provides a task-agnostic representation of an agent's understanding of its environment. Leveraging this knowledge for model-based reinforcement learning holds the potential to improve sample efficiency over model-free methods by learning inside imagined rollouts. Furthermore, because the latent space serves as input to behavior models, the informative representations learned by the world model facilitate efficient learning of desired skills. Most existing methods rely on holistic representations of the environment's state. In contrast, humans reason about objects and their interactions, forecasting how actions will affect specific parts of their surroundings. Inspired by this, we propose Slot-Attention for Object-centric Latent Dynamics (SOLD), a novel algorithm that learns object-centric dynamics models in an unsupervised manner from pixel inputs. We demonstrate that the structured latent space not only improves model interpretability but also provides a valuable input space for behavior models to reason over. Our results show that SOLD outperforms DreamerV3, a state-of-the-art model-based RL algorithm, across a range of benchmark robotic environments that evaluate for both relational reasoning and low-level manipulation capabilities. Videos are available at https://slot-latent-dynamics.github.io/.
• Abstract（参考訳）: 潜在力学モデルを学ぶことは、エージェントの環境に対する理解をタスクに依存しない表現を提供する。 この知識をモデルベース強化学習に活用することは、想定されたロールアウトの内部で学習することで、モデルフリーメソッドよりもサンプル効率を向上させる可能性を秘めている。 さらに、潜在空間は行動モデルへの入力として機能するため、世界モデルによって学習された情報表現は、望ましいスキルの効率的な学習を促進する。 既存のほとんどの手法は環境状態の全体的表現に依存している。 対照的に、人間は物体とその相互作用を推論し、アクションがどのように周囲の特定の部分に影響を及ぼすかを予測します。 そこで本研究では,物体中心のラテントダイナミクス(SOLD)のためのSlot-Attention for Object-centric Latent Dynamics(SOLD)を提案する。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。 以上の結果から,SOLDはモデルベースRLアルゴリズムであるDreamerV3よりも高い性能を示し,リレーショナル推論と低レベルの操作能力の両面から評価した。 ビデオはhttps://slot-latent-dynamics.github.io/で公開されている。

関連論文リスト

• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Learning Environment Models with Continuous Stochastic Dynamics [0.0]
  本研究では,エージェントの制御下での環境行動のオートマトンモデルを学ぶことによって,エージェントが直面する決定に対する洞察を提供することを目的とする。 本研究では,複雑で連続的な力学を持つ環境のモデルを学習できるように,自動学習の能力を高める。 我々は,LunarLander,CartPole,Mountain Car,Acrobotなど,OpenAI GymのRLベンチマーク環境に自動学習フレームワークを適用した。
  論文  参考訳（メタデータ） (2023-06-29T12:47:28Z)
• Dynamic-Resolution Model Learning for Object Pile Manipulation [33.05246884209322]
  本研究では,様々な抽象レベルで動的かつ適応的な表現を学習し,効率と効率の最適なトレードオフを実現する方法について検討する。 具体的には、環境の動的分解能粒子表現を構築し、グラフニューラルネットワーク(GNN)を用いた統一力学モデルを学ぶ。 本手法は, 粒状オブジェクトの収集, ソート, 再分配において, 最先端の固定解像度ベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-29T05:51:44Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)
• Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
  モデルに基づく視覚的目標達成のための自己監視手法を提案する。 私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。 このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T23:59:09Z)
• CLOUD: Contrastive Learning of Unsupervised Dynamics [19.091886595825947]
  コントラスト推定により、完全に教師のない方法で前方・逆ダイナミクスを学習することを提案する。 目標指向計画や観察からの模倣など,さまざまなタスクにまたがるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-23T15:42:57Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。