論文の概要: Task-Induced Representation Learning

• arxiv url: http://arxiv.org/abs/2204.11827v1
• Date: Mon, 25 Apr 2022 17:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 13:47:33.105059
• Title: Task-Induced Representation Learning
• Title（参考訳）: タスク誘発表現学習
• Authors: Jun Yamada, Karl Pertsch, Anisha Gunjal, Joseph J. Lim
• Abstract要約: 視覚的に複雑な環境における意思決定における表現学習手法の有効性を評価する。 表現学習は、視覚的に複雑なシーンであっても、目に見えないタスクのサンプル効率を向上する。
• 参考スコア（独自算出の注目度）: 14.095897879222672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we evaluate the effectiveness of representation learning approaches for decision making in visually complex environments. Representation learning is essential for effective reinforcement learning (RL) from high-dimensional inputs. Unsupervised representation learning approaches based on reconstruction, prediction or contrastive learning have shown substantial learning efficiency gains. Yet, they have mostly been evaluated in clean laboratory or simulated settings. In contrast, real environments are visually complex and contain substantial amounts of clutter and distractors. Unsupervised representations will learn to model such distractors, potentially impairing the agent's learning efficiency. In contrast, an alternative class of approaches, which we call task-induced representation learning, leverages task information such as rewards or demonstrations from prior tasks to focus on task-relevant parts of the scene and ignore distractors. We investigate the effectiveness of unsupervised and task-induced representation learning approaches on four visually complex environments, from Distracting DMControl to the CARLA driving simulator. For both, RL and imitation learning, we find that representation learning generally improves sample efficiency on unseen tasks even in visually complex scenes and that task-induced representations can double learning efficiency compared to unsupervised alternatives. Code is available at https://clvrai.com/tarp.
• Abstract（参考訳）: 本研究では,視覚的に複雑な環境における意思決定における表現学習手法の有効性を評価する。 高次元入力からの効果的な強化学習(RL)には表現学習が不可欠である。 再構成,予測,コントラスト学習に基づく教師なし表現学習アプローチは,大幅な学習効率の向上を示した。 しかし、ほとんどはクリーンな実験室やシミュレートされた環境で評価されている。 対照的に、実際の環境は視覚的に複雑で、かなりの量の乱雑さや気晴らしがある。 教師なし表現はそのような混乱をモデル化することを学び、エージェントの学習効率を損なう可能性がある。 対照的に、タスク誘導表現学習と呼ばれる別のアプローチのクラスでは、以前のタスクからの報酬やデモンストレーションのようなタスク情報を活用して、シーンのタスク関連部分にフォーカスし、邪魔者を無視する。 我々は,dmコントロールの邪魔からcarla運転シミュレータまで4つの視覚複雑な環境における教師なしおよびタスク誘発表現学習手法の有効性について検討した。 rlと模倣学習の両方において、表現学習は一般的に視覚的に複雑な場面でも目に見えないタスクのサンプル効率が向上し、タスク誘発表現は教師なしの代替品と比較して学習効率が2倍になる。 コードはhttps://clvrai.com/tarp.comで入手できる。

関連論文リスト

• DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
  強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。 本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。 本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T09:15:21Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Improving Reinforcement Learning Efficiency with Auxiliary Tasks in Non-Visual Environments: A Comparison [0.0]
  本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。 その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
  論文  参考訳（メタデータ） (2023-10-06T13:22:26Z)
• TACO: Temporal Latent Action-Driven Contrastive Loss for Visual Reinforcement Learning [73.53576440536682]
  時間的行動駆動型コントラスト学習(TACO: Temporal Action-driven Contrastive Learning)は、時間的コントラスト学習の強力なアプローチである。 TACOは、現在の状態の表現間の相互情報を最適化することにより、状態と行動表現を同時に学習する。 オンラインRLでは、TACOは100万の環境インタラクションステップの後、40%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2023-06-22T22:21:53Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Visuomotor Control in Multi-Object Scenes Using Object-Aware Representations [25.33452947179541]
  ロボット作業におけるオブジェクト指向表現学習の有効性を示す。 本モデルは,サンプル効率のよい制御ポリシーを学習し,最先端のオブジェクト技術より優れている。
  論文  参考訳（メタデータ） (2022-05-12T19:48:11Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• Learning Task Informed Abstractions [10.920599910769276]
  本稿では,報酬関連視覚的特徴を注意散らしから明確に分離する学習タスクインフォームド抽象化(TIA)を提案する。 TIAは、多くの視覚制御タスクにおける最先端の手法よりも大きなパフォーマンス向上をもたらす。
  論文  参考訳（メタデータ） (2021-06-29T17:56:11Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• Acceleration of Actor-Critic Deep Reinforcement Learning for Visual Grasping in Clutter by State Representation Learning Based on Disentanglement of a Raw Input Image [4.970364068620608]
  アクター・クリティック・ディープ・強化学習(RL)法は、多種多様な物体をつかむ際には、通常非常に低性能である。 状態表現学習 (SRL) を用いて, RL において重要な情報をまずエンコードする。 その結果,原画像の歪みに基づく前処理が,コンパクトな表現を効果的に捉える鍵であることが判明した。
  論文  参考訳（メタデータ） (2020-02-27T03:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。