論文の概要: OPEn: An Open-ended Physics Environment for Learning Without a Task

• arxiv url: http://arxiv.org/abs/2110.06912v1
• Date: Wed, 13 Oct 2021 17:48:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 14:51:46.279665
• Title: OPEn: An Open-ended Physics Environment for Learning Without a Task
• Title（参考訳）: OPEn:タスクなし学習のためのオープンな物理環境
• Authors: Chuang Gan, Abhishek Bhandwaldar, Antonio Torralba, Joshua B. Tenenbaum, Phillip Isola
• Abstract要約: オープンエンドな物理環境で学んだ世界のモデルが、特定のタスクを伴わずに、下流の物理推論タスクに再利用できるかどうかについて検討する。 我々は,OPEn(Open-ended Physics ENvironment)のベンチマークを構築し,この環境における学習表現をテストするためのいくつかのタスクを明示的に設計する。 その結果、教師なしのコントラスト学習を表現学習に用いたエージェントと、探索のためのインパクト駆動学習が最良の結果となった。
• 参考スコア（独自算出の注目度）: 132.6062618135179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans have mental models that allow them to plan, experiment, and reason in the physical world. How should an intelligent agent go about learning such models? In this paper, we will study if models of the world learned in an open-ended physics environment, without any specific tasks, can be reused for downstream physics reasoning tasks. To this end, we build a benchmark Open-ended Physics ENvironment (OPEn) and also design several tasks to test learning representations in this environment explicitly. This setting reflects the conditions in which real agents (i.e. rolling robots) find themselves, where they may be placed in a new kind of environment and must adapt without any teacher to tell them how this environment works. This setting is challenging because it requires solving an exploration problem in addition to a model building and representation learning problem. We test several existing RL-based exploration methods on this benchmark and find that an agent using unsupervised contrastive learning for representation learning, and impact-driven learning for exploration, achieved the best results. However, all models still fall short in sample efficiency when transferring to the downstream tasks. We expect that OPEn will encourage the development of novel rolling robot agents that can build reusable mental models of the world that facilitate many tasks.
• Abstract（参考訳）: 人間には、物理的な世界で計画、実験、理性を可能にするメンタルモデルがある。 インテリジェントエージェントは、このようなモデルを学ぶにはどうすればよいのか? 本稿では,オープンエンドの物理環境において,特定のタスクを伴わずに学習した世界のモデルが下流の物理推論タスクに再利用できるかどうかを考察する。 そこで我々は,OPEn(Open-ended Physics ENvironment)のベンチマークを構築し,この環境における学習表現を明示的にテストするためのタスクを設計する。 この設定は、実際のエージェント(すなわちローリングロボット)が、新しい種類の環境に置かれ、この環境がどのように機能するかを教師が伝えることなく適応しなければならない状況を反映している。 この設定は、モデル構築と表現学習の問題に加えて、探索問題を解決する必要があるため、難しい。 このベンチマークで既存のrlベースの探索手法をテストした結果,教師なしのコントラスト学習を表現学習に,インパクト駆動学習を探索に用いたエージェントが最善の結果を得た。 しかし、全てのモデルはまだ下流タスクに移行する際にサンプル効率が不足している。 OPEnは、多くのタスクを円滑に進める世界の再利用可能なメンタルモデルを構築することのできる、新しい転がりロボットエージェントの開発を促進することを期待する。

関連論文リスト

• Reward-Free Curricula for Training Robust World Models [37.13175950264479]
  報酬のない探索から世界モデルを学ぶことは有望なアプローチであり、新しいタスクのために想像された経験を使ってポリシーをトレーニングすることができる。 我々は、ロバストな世界モデルをトレーニングするための報酬のない設定でカリキュラムを生成するという新しい問題に対処する。 環境インスタンス全体にわたる世界モデルにおける最大誤差を最小限に抑えるために,ミニマックス後悔が結びつくことを示す。 この結果は,ロバストネスのための環境横断的な知識の重み付け獲得というアルゴリズム,WAKER: Weighted Acquisition of Knowledges for Environmentsに伝達される。
  論文  参考訳（メタデータ） (2023-06-15T15:40:04Z)
• Investigating the role of model-based learning in exploration and transfer [11.652741003589027]
  本稿では,モデルベースエージェントの文脈における伝達学習について検討する。 モデルベースアプローチは,移動学習におけるモデルフリーベースラインよりも優れていることがわかった。 本研究の結果から,本質的な探索と環境モデルが組み合わさって,自己監督的かつ新たな報酬関数に一般化可能なエージェントの方向性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-02-08T11:49:58Z)
• Predictive World Models from Real-World Partial Observations [66.80340484148931]
  本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。 従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
  論文  参考訳（メタデータ） (2023-01-12T02:07:26Z)
• Towards Autonomous Grading In The Real World [4.651327752886103]
  我々は、不均一な領域を平坦化するためにドーザを必要とする自律的なグレーディングの問題に取り組むことを目的としている。 本研究では,現実的な物理シミュレーションと実ドーザーのダイナミックスと感覚情報を模倣した拡張された実プロトタイプ環境の両方を設計する。
  論文  参考訳（メタデータ） (2022-06-13T12:21:20Z)
• Should Models Be Accurate? [14.044354912031864]
  予測設定においてダイナスタイルの計画に焦点をあてる。 本研究では,学習者に対して,環境モデリングの精度ではなく,学習者にとって有用性を重視した学習モデルのためのメタ学習アルゴリズムを提案する。 実験の結果,本アルゴリズムは非定常性に関するドメイン固有知識を用いて構築した精度の高いモデルよりも高速な学習を可能にすることがわかった。
  論文  参考訳（メタデータ） (2022-05-22T04:23:54Z)
• Continual Predictive Learning from Videos [100.27176974654559]
  本稿では,ビデオ予測の文脈において,新たな連続学習問題について検討する。 本稿では,連続予測学習(Continuousal predictive Learning, CPL)アプローチを提案する。 我々はRoboNetとKTHに基づく2つの新しいベンチマークを構築し、異なるタスクが異なる物理ロボット環境や人間の行動に対応するようにした。
  論文  参考訳（メタデータ） (2022-04-12T08:32:26Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Learning intuitive physics and one-shot imitation using state-action-prediction self-organizing maps [0.0]
  人間は探索と模倣によって学び、世界の因果モデルを構築し、両方を使って新しいタスクを柔軟に解決する。 このような特徴を生み出す単純だが効果的な教師なしモデルを提案する。 エージェントがアクティブな推論スタイルで柔軟に解決する、複数の関連するが異なる1ショットの模倣タスクに対して、その性能を示す。
  論文  参考訳（メタデータ） (2020-07-03T12:29:11Z)
• Ecological Reinforcement Learning [76.9893572776141]
  このような条件下での学習を容易にする環境特性について検討する。 環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-22T17:55:03Z)
• An Exploration of Embodied Visual Exploration [97.21890864063872]
  身体的コンピュータビジョンは、新しい非構造環境におけるロボットに対する知覚を考慮に入れている。 既存の視覚探索アルゴリズムの分類を提示し、それらをベンチマークするための標準フレームワークを作成する。 次に,提案フレームワークを用いた4つの最先端パラダイムの徹底的な実証的研究を行った。
  論文  参考訳（メタデータ） (2020-01-07T17:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。