論文の概要: Zero-Shot Reinforcement Learning via Function Encoders

• arxiv url: http://arxiv.org/abs/2401.17173v2
• Date: Sat, 11 May 2024 15:04:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 00:23:41.251876
• Title: Zero-Shot Reinforcement Learning via Function Encoders
• Title（参考訳）: 関数エンコーダによるゼロショット強化学習
• Authors: Tyler Ingebrand, Amy Zhang, Ufuk Topcu,
• Abstract要約: 本稿では,学習された非線形基底関数の重み付け結合として関数を表現する表現学習アルゴリズムである関数エンコーダを紹介する。 関数エンコーダを使用して報酬関数や遷移関数を表現することにより、エージェントは、現在のタスクが以前見られたタスクとどのように関連しているかに関する情報を得る。 基本RLアルゴリズムを関数タスク表現で拡張することにより、3つのRLフィールドにおける最先端のデータ効率、安定性、および訓練安定性を実証する。
• 参考スコア（独自算出の注目度）: 23.57570432980556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although reinforcement learning (RL) can solve many challenging sequential decision making problems, achieving zero-shot transfer across related tasks remains a challenge. The difficulty lies in finding a good representation for the current task so that the agent understands how it relates to previously seen tasks. To achieve zero-shot transfer, we introduce the function encoder, a representation learning algorithm which represents a function as a weighted combination of learned, non-linear basis functions. By using a function encoder to represent the reward function or the transition function, the agent has information on how the current task relates to previously seen tasks via a coherent vector representation. Thus, the agent is able to achieve transfer between related tasks at run time with no additional training. We demonstrate state-of-the-art data efficiency, asymptotic performance, and training stability in three RL fields by augmenting basic RL algorithms with a function encoder task representation.
• Abstract（参考訳）: 強化学習(RL)は多くの逐次決定問題を解くことができるが、関連するタスク間でゼロショット転送を実現することは依然として課題である。 この難しさは、エージェントが前述したタスクとどのように関連しているかを理解するために、現在のタスクの適切な表現を見つけることである。 ゼロショット転送を実現するために,学習された非線形基底関数の重み付け結合として関数を表現する表現学習アルゴリズムである関数エンコーダを導入する。 関数エンコーダを用いて報酬関数または遷移関数を表現することにより、エージェントは、コヒーレントベクトル表現を介して、現在のタスクが以前見られたタスクとどのように関連しているかに関する情報を得る。 これにより、エージェントは、追加のトレーニングなしで、実行時に関連するタスク間の転送を達成できる。 基本RLアルゴリズムを関数エンコーダタスク表現で拡張することにより、3つのRLフィールドにおける最先端データ効率、漸近性能、およびトレーニング安定性を示す。

関連論文リスト

• Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
  本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。 提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
  論文  参考訳（メタデータ） (2024-11-19T01:23:52Z)
• How Feature Learning Can Improve Neural Scaling Laws [86.9540615081759]
  我々は,カーネル限界を超えたニューラルスケーリング法則の解法モデルを開発する。 モデルのサイズ、トレーニング時間、利用可能なデータの総量によるパフォーマンスのスケールアップ方法を示す。
  論文  参考訳（メタデータ） (2024-09-26T14:05:32Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
  同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-05-20T14:52:03Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Function Contrastive Learning of Transferable Meta-Representations [38.31692245188669]
  共同訓練がメタ表現の伝達性に及ぼす影響について検討した。 教師付きメタ学習のためのデカップリングエンコーダデコーダアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-14T13:50:22Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。