論文の概要: Semantic Exploration from Language Abstractions and Pretrained Representations

• arxiv url: http://arxiv.org/abs/2204.05080v3
• Date: Wed, 26 Apr 2023 22:21:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 17:32:56.038906
• Title: Semantic Exploration from Language Abstractions and Pretrained Representations
• Title（参考訳）: 言語抽象化と事前学習表現による意味探索
• Authors: Allison C. Tam, Neil C. Rabinowitz, Andrew K. Lampinen, Nicholas A. Roy, Stephanie C. Y. Chan, DJ Strouse, Jane X. Wang, Andrea Banino, Felix Hill
• Abstract要約: 効果的な探究は強化学習(RL)の課題である 意味論的に意味のある状態抽象化を用いて新規性を定義する。 自然画像キャプションデータセットに基づく視覚言語表現の評価を行った。
• 参考スコア（独自算出の注目度）: 23.02024937564099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective exploration is a challenge in reinforcement learning (RL). Novelty-based exploration methods can suffer in high-dimensional state spaces, such as continuous partially-observable 3D environments. We address this challenge by defining novelty using semantically meaningful state abstractions, which can be found in learned representations shaped by natural language. In particular, we evaluate vision-language representations, pretrained on natural image captioning datasets. We show that these pretrained representations drive meaningful, task-relevant exploration and improve performance on 3D simulated environments. We also characterize why and how language provides useful abstractions for exploration by considering the impacts of using representations from a pretrained model, a language oracle, and several ablations. We demonstrate the benefits of our approach in two very different task domains -- one that stresses the identification and manipulation of everyday objects, and one that requires navigational exploration in an expansive world. Our results suggest that using language-shaped representations could improve exploration for various algorithms and agents in challenging environments.
• Abstract（参考訳）: 効果的な探索は強化学習(RL)における課題である。 新規性に基づく探索法は、連続的な部分観測可能な3D環境のような高次元状態空間で苦しむことができる。 自然言語によって形作られた学習表現で見られる意味論的意味のある状態抽象化を用いて、新規性を定義することで、この課題に対処する。 特に、自然画像キャプションデータセットに基づいて、視覚言語表現を評価する。 これらの事前訓練された表現は、意味のあるタスク関連探索を促進し、3次元シミュレーション環境の性能を向上させる。 我々はまた、事前訓練されたモデル、言語オラクル、およびいくつかのアブレーションからの表現の使用の影響を考慮して、言語が探索に有用な抽象化を提供する理由と方法を特徴付ける。 当社のアプローチのメリットは,2つの非常に異なるタスク領域 – 日常的なオブジェクトの識別と操作を強調するものと,拡張的な世界におけるナビゲーション探索を必要とするもの – で実証しています。 以上より,言語表現を用いることで,課題環境における様々なアルゴリズムやエージェントの探索が向上することが示唆された。

関連論文リスト

• Open-Set 3D Semantic Instance Maps for Vision Language Navigation -- O3D-SIM [8.46789360111679]
  人間は周囲のメンタルマップを作るのに優れています。 インスタンスレベルの情報と環境の意味的理解を持つことは、言語誘導タスクのパフォーマンスを著しく向上させる。 パイプラインの堅牢性を高めながら、このインスタンスレベルのアプローチを3Dに拡張します。
  論文  参考訳（メタデータ） (2024-04-27T14:20:46Z)
• Learning with Language-Guided State Abstractions [58.199148890064826]
  高次元観測空間における一般化可能なポリシー学習は、よく設計された状態表現によって促進される。 我々の手法であるLGAは、自然言語の監視と言語モデルからの背景知識を組み合わせて、目に見えないタスクに適した状態表現を自動構築する。 シミュレーションされたロボットタスクの実験では、LGAは人間によって設計されたものと同様の状態抽象化をもたらすが、そのほんの少しの時間で得られる。
  論文  参考訳（メタデータ） (2024-02-28T23:57:04Z)
• LanGWM: Language Grounded World Model [24.86620763902546]
  我々は,世界モデル学習を強化するために,言語による視覚的特徴を学習することに注力する。 提案手法は,人間とロボットの相互作用モデルを改善する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-11-29T12:41:55Z)
• AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
  抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。 本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:11:23Z)
• Representations and Exploration for Deep Reinforcement Learning using Singular Value Decomposition [29.237357850947433]
  ドメインの基底となる遷移構造を保存する表現を得るために,特異値分解に基づく手法を提案する。 これらの表現は、状態訪問の相対的な頻度をキャプチャし、擬似カウントを無償で見積もることも示している。 一部観測可能な領域を用いたマルチタスク設定実験により,提案手法はDM-Lab-30環境上で有用な表現を学習できるだけでなく,DM-Hard-8環境におけるハードな探索作業にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T04:26:03Z)
• ARNOLD: A Benchmark for Language-Grounded Task Learning With Continuous States in Realistic 3D Scenes [72.83187997344406]
  ARNOLDは、現実的な3Dシーンにおける連続状態による言語によるタスク学習を評価するベンチマークである。 ARNOLDは、オブジェクト状態の理解と継続的な目標のための学習ポリシーを含む8つの言語条件のタスクで構成されている。
  論文  参考訳（メタデータ） (2023-04-09T21:42:57Z)
• Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
  本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。 実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-30T19:56:04Z)
• CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations [98.30038910061894]
  VLN(Vision-and-Language Navigation)タスクでは、エージェントが言語命令に基づいて環境をナビゲートする必要がある。 CLEAR: 言語横断表現と環境非依存表現を提案する。 我々の言語と視覚表現は、Room-to-Room and Cooperative Vision-and-Dialogue Navigationタスクにうまく転送できる。
  論文  参考訳（メタデータ） (2022-07-05T17:38:59Z)
• A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
  基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。 我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。 収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
  論文  参考訳（メタデータ） (2020-10-28T20:47:13Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。