論文の概要: Guaranteed Discovery of Controllable Latent States with Multi-Step Inverse Models

• arxiv url: http://arxiv.org/abs/2207.08229v1
• Date: Sun, 17 Jul 2022 17:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 16:21:39.898359
• Title: Guaranteed Discovery of Controllable Latent States with Multi-Step Inverse Models
• Title（参考訳）: 多段階逆モデルによる制御可能な潜在状態の探索
• Authors: Alex Lamb, Riashat Islam, Yonathan Efroni, Aniket Didolkar, Dipendra Misra, Dylan Foster, Lekan Molu, Rajan Chari, Akshay Krishnamurthy, John Langford
• Abstract要約: エージェント制御可能な状態探索アルゴリズム(AC-State) アルゴリズムは多段階の逆モデル(遠方の観測から行動を予測する)と情報ボトルネックから構成される。 本稿では,3つの領域において制御可能な潜伏状態の発見を実証する。ロボットアームの局所化,他のエージェントとともに迷路を探索し,Matterportハウスシミュレーターをナビゲートする。
• 参考スコア（独自算出の注目度）: 51.754160866582005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A person walking along a city street who tries to model all aspects of the world would quickly be overwhelmed by a multitude of shops, cars, and people moving in and out of view, following their own complex and inscrutable dynamics. Exploration and navigation in such an environment is an everyday task, requiring no vast exertion of mental resources. Is it possible to turn this fire hose of sensory information into a minimal latent state which is necessary and sufficient for an agent to successfully act in the world? We formulate this question concretely, and propose the Agent-Controllable State Discovery algorithm (AC-State), which has theoretical guarantees and is practically demonstrated to discover the \textit{minimal controllable latent state} which contains all of the information necessary for controlling the agent, while fully discarding all irrelevant information. This algorithm consists of a multi-step inverse model (predicting actions from distant observations) with an information bottleneck. AC-State enables localization, exploration, and navigation without reward or demonstrations. We demonstrate the discovery of controllable latent state in three domains: localizing a robot arm with distractions (e.g., changing lighting conditions and background), exploring in a maze alongside other agents, and navigating in the Matterport house simulator.
• Abstract（参考訳）: 世界のあらゆる側面をモデル化しようとする街を歩いている人は、すぐに多くの店、車、そして視界外を移動している人々によって圧倒され、彼ら自身の複雑で不可解なダイナミクスに従います。 このような環境での探索と航海は日常的な作業であり、精神的な資源を大量に消費する必要はない。 この感覚情報の消火ホースを、エージェントが世界でうまく行動するのに必要で十分な最小限の潜伏状態に変えることは可能か? エージェント制御可能な状態発見アルゴリズム (ac-state) は, エージェント制御に必要な情報をすべて含みながら, 完全に無関係な情報を破棄する, 理論的保証を持ち, 実質的には, エージェント制御に必要な情報をすべて含む \textit{minimal controllable latent state} を発見する。 このアルゴリズムは、情報ボトルネックを持つ多段階逆モデル(遠方観測からの行動予測)から成り立っている。 AC-Stateは、報酬やデモンストレーションなしで、ローカライズ、探索、ナビゲーションを可能にする。 3つの領域において、制御可能な潜伏状態の発見を実証する。例えば、照明条件や背景を変更するロボットアームの局所化、他のエージェントと共に迷路を探索し、Matterportハウスシミュレータをナビゲートする。

関連論文リスト

• METRA: Scalable Unsupervised RL with Metric-Aware Abstraction [69.90741082762646]
  Metric-Aware Abstraction (METRA)は、教師なし強化学習の新たな目標である。 潜在空間のあらゆる方向に移動することを学ぶことで、METRAは様々な振る舞いの抽出可能な集合を得る。 複雑なピクセルベースの環境においても,METRAは様々な有用な振る舞いを発見できることを示す。
  論文  参考訳（メタデータ） (2023-10-13T06:43:11Z)
• Provably Sample-Efficient RL with Side Information about Latent Dynamics [12.461789905893026]
  本研究では,RLエージェントが状態空間の構造に関する抽象的な知識にアクセスできるような環境下での強化学習について検討する。 我々は,対象領域におけるロバストなポリシーを,地平線上にあるサンプルの複雑さで学習するTASIDというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-27T21:07:03Z)
• Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
  多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。 本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。 学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
  論文  参考訳（メタデータ） (2021-04-12T23:14:41Z)
• Guided Navigation from Multiple Viewpoints using Qualitative Spatial Reasoning [0.0]
  本研究の目的は、感覚障害者ロボットを目標地点に誘導するアルゴリズムを開発することである。 この研究で考慮される主な課題は、自律的なエージェントのグループを考えると、一連のハイレベルなコマンドを生成できるアルゴリズムの開発と評価である。
  論文  参考訳（メタデータ） (2020-11-03T00:34:26Z)
• Batch Exploration with Examples for Scalable Robotic Reinforcement Learning [63.552788688544254]
  BEE(Batch Exploration with Examples)は、重要状態の画像の少ない数の人間がガイドする状態空間の関連領域を探索する。 BEEは、シミュレーションと本物のフランカロボットの両方で、視覚ベースの操作に挑戦することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:49:25Z)
• Active Visual Information Gathering for Vision-Language Navigation [115.40768457718325]
  視覚言語ナビゲーション(VLN)は、エージェントがフォトリアリスティックな環境の中でナビゲーションの指示を行うためのタスクである。 VLNの重要な課題の1つは、曖昧な指示による不確実性を緩和し、環境の観察を不十分にすることで、堅牢なナビゲーションを行う方法である。 この研究は、人間のナビゲーション行動からインスピレーションを得て、よりインテリジェントなVLNポリシーのためのアクティブな情報収集能力を持つエージェントを提供する。
  論文  参考訳（メタデータ） (2020-07-15T23:54:20Z)
• Asynchronous Multi Agent Active Search [6.587280549237275]
  SPATS (Sparse Parallel Asynchronous Thompson Smpling) とLATSI (Laplace Thompson Smpling with Information gain) という2つの異なる能動探索アルゴリズムを提案する。 ターゲットは、圧縮的な検知仮定に従って、環境の周囲にわずかに配置されているとみなす。 提案アルゴリズムの有効性を実証するために,シミュレーション結果と理論的解析結果を提供する。
  論文  参考訳（メタデータ） (2020-06-25T22:17:20Z)
• Learning to Move with Affordance Maps [57.198806691838364]
  物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。 従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。 学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
  論文  参考訳（メタデータ） (2020-01-08T04:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。