論文の概要: Learning to Simulate Dynamic Environments with GameGAN

• arxiv url: http://arxiv.org/abs/2005.12126v1
• Date: Mon, 25 May 2020 14:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 06:14:28.126833
• Title: Learning to Simulate Dynamic Environments with GameGAN
• Title（参考訳）: GameGANで動的環境をシミュレートする学習
• Authors: Seung Wook Kim, Yuhao Zhou, Jonah Philion, Antonio Torralba, Sanja Fidler
• Abstract要約: 本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
• 参考スコア（独自算出の注目度）: 109.25308647431952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation is a crucial component of any robotic system. In order to simulate correctly, we need to write complex rules of the environment: how dynamic agents behave, and how the actions of each of the agents affect the behavior of others. In this paper, we aim to learn a simulator by simply watching an agent interact with an environment. We focus on graphics games as a proxy of the real environment. We introduce GameGAN, a generative model that learns to visually imitate a desired game by ingesting screenplay and keyboard actions during training. Given a key pressed by the agent, GameGAN "renders" the next screen using a carefully designed generative adversarial network. Our approach offers key advantages over existing work: we design a memory module that builds an internal map of the environment, allowing for the agent to return to previously visited locations with high visual consistency. In addition, GameGAN is able to disentangle static and dynamic components within an image making the behavior of the model more interpretable, and relevant for downstream tasks that require explicit reasoning over dynamic elements. This enables many interesting applications such as swapping different components of the game to build new games that do not exist.
• Abstract（参考訳）: シミュレーションはどんなロボットシステムでも重要な要素である。 正しくシミュレートするためには、動的エージェントがどのように振る舞うか、各エージェントのアクションが他者の行動にどのように影響するかという、環境の複雑なルールを記述する必要がある。 本稿では,エージェントが環境と対話するのを見ることでシミュレータを学習することを目的とする。 我々は実環境の代理としてグラフィックゲームに焦点を当てている。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学ぶ生成モデルである。 エージェントによって押されたキーが与えられた後、GameGANは慎重に設計された生成的敵ネットワークを使用して次の画面を「レンダリング」する。 我々は、環境の内部マップを構築するメモリモジュールを設計し、エージェントが以前訪れた場所へ、高い視覚的一貫性を持って戻れるようにします。 さらに、GameGANは、画像内の静的および動的コンポーネントをアンタングルすることで、モデルの振る舞いをより解釈可能とし、動的要素に対する明示的な推論を必要とする下流タスクに関連付けることができる。 これにより、ゲームの異なるコンポーネントを交換して、存在しない新しいゲームを構築するなど、多くの興味深いアプリケーションが可能になる。

関連論文リスト

• Closed Loop Interactive Embodied Reasoning for Robot Manipulation [17.732550906162192]
  身体的推論システムは、ロボットハードウェアと認知プロセスを統合して複雑なタスクを実行する。 我々は,MuJoCo物理エンジンと高品質ブレンダーを利用した新しいシミュレーション環境を提案する。 視覚と身体の同時計測を必要とする10種類の多段階推論シナリオからなる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-04-23T16:33:28Z)
• Video2Game: Real-time, Interactive, Realistic and Browser-Compatible Environment from a Single Video [23.484070818399]
  Video2Gameは、現実世界のシーンのビデオを自動的にリアルでインタラクティブなゲーム環境に変換する新しいアプローチである。 リアルタイムに高リアルなレンダリングを作成できるだけでなく、インタラクティブなゲームも構築できることが示されています。
  論文  参考訳（メタデータ） (2024-04-15T14:32:32Z)
• Scaling Instructable Agents Across Many Simulated Worlds [70.97268311053328]
  私たちのゴールは、シミュレーションされた3D環境で人間ができることを何でも達成できるエージェントを開発することです。 我々のアプローチは、最小限の仮定を示唆しながら、言語駆動の一般性に焦点を当てている。 我々のエージェントは、汎用的なヒューマンライクなインタフェースを使って、リアルタイムで環境と対話する。
  論文  参考訳（メタデータ） (2024-03-13T17:50:32Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
  iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。 私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
  論文  参考訳（メタデータ） (2020-12-05T02:14:17Z)
• Using Fractal Neural Networks to Play SimCity 1 and Conway's Game of Life at Variable Scales [0.0]
  Gym-cityは、SimCity 1のゲームエンジンを使って都市環境をシミュレートする強化学習環境である。 我々は、人口に着目し、訓練中に見られたものよりも大きな地図サイズに一般化するエージェントの能力を分析する。
  論文  参考訳（メタデータ） (2020-01-29T19:10:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。