論文の概要: Semantic Exploration from Language Abstractions and Pretrained Representations

• arxiv url: http://arxiv.org/abs/2204.05080v1
• Date: Fri, 8 Apr 2022 17:08:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 14:30:21.830159
• Title: Semantic Exploration from Language Abstractions and Pretrained Representations
• Title（参考訳）: 言語抽象化と事前学習表現による意味探索
• Authors: Allison C. Tam, Neil C. Rabinowitz, Andrew K. Lampinen, Nicholas A. Roy, Stephanie C. Y. Chan, DJ Strouse, Jane X. Wang, Andrea Banino, Felix Hill
• Abstract要約: 連続した1対1の3D環境は、強化学習(RL)エージェントにユニークな探索課題をもたらす。 自然言語で形づくられた学習表現は、まさにこの抽象形式を提供すると提案する。 インターネットからサンプリングされた画像キャプションデータセットに事前トレーニングされた視覚言語表現は、意味のあるタスク関連探索を促進することができることを示す。
• 参考スコア（独自算出の注目度）: 23.02024937564099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous first-person 3D environments pose unique exploration challenges to reinforcement learning (RL) agents because of their high-dimensional state and action spaces. These challenges can be ameliorated by using semantically meaningful state abstractions to define novelty for exploration. We propose that learned representations shaped by natural language provide exactly this form of abstraction. In particular, we show that vision-language representations, when pretrained on image captioning datasets sampled from the internet, can drive meaningful, task-relevant exploration and improve performance on 3D simulated environments. We also characterize why and how language provides useful abstractions for exploration by comparing the impacts of using representations from a pretrained model, a language oracle, and several ablations. We demonstrate the benefits of our approach in two very different task domains -- one that stresses the identification and manipulation of everyday objects, and one that requires navigational exploration in an expansive world -- as well as two popular deep RL algorithms: Impala and R2D2. Our results suggest that using language-shaped representations could improve exploration for various algorithms and agents in challenging environments.
• Abstract（参考訳）: 連続した一対一の3D環境は、高次元の状態と行動空間のため、強化学習(RL)エージェントに固有の探索課題をもたらす。 これらの課題は、意味的に意味のある状態抽象化を使用して探索の新規性を定義することで改善することができる。 自然言語によって形成される学習表現は、まさにこの抽象化形式を提供する。 特に,インターネットからサンプリングされた画像キャプションデータセットに事前学習された場合,視覚言語表現は有意義でタスク関連性の高い探索を促進し,3次元シミュレーション環境における性能を向上させる。 我々はまた、事前訓練されたモデル、言語オラクル、およびいくつかのアブレーションからの表現の使用の影響を比較することによって、言語が探索に有用な抽象化を提供する理由と方法を特徴付ける。 我々は、我々のアプローチの利点を、ImpalaとR2D2という2つの人気のあるディープRLアルゴリズムと同様に、2つの非常に異なるタスクドメイン、すなわち、日常のオブジェクトの識別と操作を強調するもの、そして、拡張された世界でナビゲーションの探索を必要とするもので示します。 以上より,言語表現を用いることで,課題環境における様々なアルゴリズムやエージェントの探索が向上することが示唆された。

関連論文リスト

• Open-Set 3D Semantic Instance Maps for Vision Language Navigation -- O3D-SIM [8.46789360111679]
  人間は周囲のメンタルマップを作るのに優れています。 インスタンスレベルの情報と環境の意味的理解を持つことは、言語誘導タスクのパフォーマンスを著しく向上させる。 パイプラインの堅牢性を高めながら、このインスタンスレベルのアプローチを3Dに拡張します。
  論文  参考訳（メタデータ） (2024-04-27T14:20:46Z)
• Learning with Language-Guided State Abstractions [58.199148890064826]
  高次元観測空間における一般化可能なポリシー学習は、よく設計された状態表現によって促進される。 我々の手法であるLGAは、自然言語の監視と言語モデルからの背景知識を組み合わせて、目に見えないタスクに適した状態表現を自動構築する。 シミュレーションされたロボットタスクの実験では、LGAは人間によって設計されたものと同様の状態抽象化をもたらすが、そのほんの少しの時間で得られる。
  論文  参考訳（メタデータ） (2024-02-28T23:57:04Z)
• LanGWM: Language Grounded World Model [24.86620763902546]
  我々は,世界モデル学習を強化するために,言語による視覚的特徴を学習することに注力する。 提案手法は,人間とロボットの相互作用モデルを改善する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-11-29T12:41:55Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Representations and Exploration for Deep Reinforcement Learning using Singular Value Decomposition [29.237357850947433]
  ドメインの基底となる遷移構造を保存する表現を得るために,特異値分解に基づく手法を提案する。 これらの表現は、状態訪問の相対的な頻度をキャプチャし、擬似カウントを無償で見積もることも示している。 一部観測可能な領域を用いたマルチタスク設定実験により,提案手法はDM-Lab-30環境上で有用な表現を学習できるだけでなく,DM-Hard-8環境におけるハードな探索作業にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T04:26:03Z)
• ARNOLD: A Benchmark for Language-Grounded Task Learning With Continuous States in Realistic 3D Scenes [72.83187997344406]
  ARNOLDは、現実的な3Dシーンにおける連続状態による言語によるタスク学習を評価するベンチマークである。 ARNOLDは、オブジェクト状態の理解と継続的な目標のための学習ポリシーを含む8つの言語条件のタスクで構成されている。
  論文  参考訳（メタデータ） (2023-04-09T21:42:57Z)
• Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
  本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。 実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:56:04Z)
• CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations [98.30038910061894]
  VLN(Vision-and-Language Navigation)タスクでは、エージェントが言語命令に基づいて環境をナビゲートする必要がある。 CLEAR: 言語横断表現と環境非依存表現を提案する。 我々の言語と視覚表現は、Room-to-Room and Cooperative Vision-and-Dialogue Navigationタスクにうまく転送できる。
  論文  参考訳（メタデータ） (2022-07-05T17:38:59Z)
• A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
  基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。 我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。 収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
  論文  参考訳（メタデータ） (2020-10-28T20:47:13Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。