論文の概要: Environment Predictive Coding for Embodied Agents

• arxiv url: http://arxiv.org/abs/2102.02337v1
• Date: Wed, 3 Feb 2021 23:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:29:24.089195
• Title: Environment Predictive Coding for Embodied Agents
• Title（参考訳）: 生体内エージェントの環境予測符号化
• Authors: Santhosh K. Ramakrishnan, Tushar Nagarajan, Ziad Al-Halah, Kristen Grauman
• Abstract要約: 本稿では,環境レベルの表現を具体化エージェントに学習する自己教師型手法である環境予測符号化を導入する。 GibsonとMatterport3Dのフォトリアリスティックな3D環境に関する実験により、我々の手法は、限られた経験の予算しか持たない課題において、最先端の課題よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 92.31905063609082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce environment predictive coding, a self-supervised approach to learn environment-level representations for embodied agents. In contrast to prior work on self-supervised learning for images, we aim to jointly encode a series of images gathered by an agent as it moves about in 3D environments. We learn these representations via a zone prediction task, where we intelligently mask out portions of an agent's trajectory and predict them from the unmasked portions, conditioned on the agent's camera poses. By learning such representations on a collection of videos, we demonstrate successful transfer to multiple downstream navigation-oriented tasks. Our experiments on the photorealistic 3D environments of Gibson and Matterport3D show that our method outperforms the state-of-the-art on challenging tasks with only a limited budget of experience.
• Abstract（参考訳）: 環境予測符号化は,エージェントの環境レベルの表現を学習するための自己教師付き手法である。 画像に対する自己監督学習の先行作業とは対照的に、エージェントが3D環境で動きながら集めた一連の画像を共同でエンコードすることを目指しています。 我々はゾーン予測タスクを通じてこれらの表現を学習し、エージェントの軌跡の一部をインテリジェントにマスキングし、エージェントのカメラのポーズに調整された未加工部分から予測する。 このような表現をビデオのコレクションで学習することで、複数の下流ナビゲーション指向タスクへの成功した転送を実証します。 GibsonとMatterport3Dの光リアルな3D環境に関する私たちの実験は、私たちの方法が経験の限られた予算で挑戦的なタスクの最先端を上回っていることを示しています。

関連論文リスト

• Behavioral Cloning via Search in Video PreTraining Latent Space [0.13999481573773073]
  専門家のデモンストレーションのデータセット上での探索問題として制御問題を定式化する。 我々は,ビデオPreTrainingモデルの潜在表現において,BASALT MineRLデータセットの近接探索を行う。 エージェントは、エージェントの状態表現とデータセットから選択された専門家軌跡との距離が分岐しない限り、専門家軌跡からのアクションをコピーする。
  論文  参考訳（メタデータ） (2022-12-27T00:20:37Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Object Manipulation via Visual Target Localization [64.05939029132394]
  オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。 本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。 評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-15T17:59:01Z)
• Evaluating Continual Learning Algorithms by Generating 3D Virtual Environments [66.83839051693695]
  連続学習とは、人間や動物が特定の環境で徐々に学習する能力である。 本稿では3次元仮想環境の最近の進歩を活用して,フォトリアリスティックな外観を持つ潜在的に長寿命な動的シーンの自動生成にアプローチすることを提案する。 本論文の新たな要素は、シーンがパラメトリックな方法で記述され、エージェントが知覚する入力ストリームの視覚的複雑さを完全に制御できることである。
  論文  参考訳（メタデータ） (2021-09-16T10:37:21Z)
• 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
  我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。 学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
  論文  参考訳（メタデータ） (2021-07-08T17:49:37Z)
• Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding [0.0]
  遠隔センシング画像分類における自己監督学習の適用可能性の分析を行う。 遠隔センシング画像分類の下流課題において,自己教師付き事前学習は自然シーン画像の教師付き事前学習よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-14T18:25:43Z)
• Learning Affordance Landscapes for Interaction Exploration in 3D Environments [101.90004767771897]
  エージェントは環境の仕組みを習得できなければならない。 相互作用探索のための強化学習手法を提案する。 AI2-iTHORで私たちのアイデアを実証します。
  論文  参考訳（メタデータ） (2020-08-21T00:29:36Z)
• Learning to Visually Navigate in Photorealistic Environments Without any Supervision [37.22924101745505]
  外部の監督や報酬を伴わずに画像入力から学習するための新しいアプローチを導入する。 我々のアプローチは3つの段階から構成される: 一人称視点の優れた表現を学習し、次に記憶を用いて探索することを学ぶ。 エージェントを訓練して、RGB入力のみでギブソンデータセットから挑戦的な写真リアリスティック環境をナビゲートすることで、このアプローチの利点を示す。
  論文  参考訳（メタデータ） (2020-04-10T08:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。