論文の概要: Cross-Episodic Curriculum for Transformer Agents
- arxiv url: http://arxiv.org/abs/2310.08549v1
- Date: Thu, 12 Oct 2023 17:45:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 08:22:49.184251
- Title: Cross-Episodic Curriculum for Transformer Agents
- Title（参考訳）: 変圧器用クロス・エピソディック・カリキュラム
- Authors: Lucy Xiaoyang Shi and Yunfan Jiang and Jake Grigsby and Linxi "Jim"
Fan and Yuke Zhu
- Abstract要約: 我々は,トランスフォーマーエージェントの学習効率と一般化を促進するために,CEC(Cross-Episodic Curriculum)という新しいアルゴリズムを提案する。
CECの中心は、トランスフォーマーの文脈に異種体験を配置することである。
CECは、エピソード間での学習の進歩と習熟度の増加をカプセル化するカリキュラムを構築している。
- 参考スコア（独自算出の注目度）: 26.240903251696874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new algorithm, Cross-Episodic Curriculum (CEC), to boost the
learning efficiency and generalization of Transformer agents. Central to CEC is
the placement of cross-episodic experiences into a Transformer's context, which
forms the basis of a curriculum. By sequentially structuring online learning
trials and mixed-quality demonstrations, CEC constructs curricula that
encapsulate learning progression and proficiency increase across episodes. Such
synergy combined with the potent pattern recognition capabilities of
Transformer models delivers a powerful cross-episodic attention mechanism. The
effectiveness of CEC is demonstrated under two representative scenarios: one
involving multi-task reinforcement learning with discrete control, such as in
DeepMind Lab, where the curriculum captures the learning progression in both
individual and progressively complex settings; and the other involving
imitation learning with mixed-quality data for continuous control, as seen in
RoboMimic, where the curriculum captures the improvement in demonstrators'
expertise. In all instances, policies resulting from CEC exhibit superior
performance and strong generalization. Code is open-sourced at
https://cec-agent.github.io/ to facilitate research on Transformer agent
learning.
- Abstract（参考訳）: 本稿では,トランスフォーマーエージェントの学習効率の向上と一般化を図るため,CEC(Cross-Episodic Curriculum)というアルゴリズムを提案する。
CECの中心は、カリキュラムの基礎を形成するトランスフォーマーの文脈に異種体験を配置することである。
CECは、オンライン学習の試行と混合品質の実証を逐次的に構成することで、エピソードごとの学習の進歩と習熟度向上をカプセル化するカリキュラムを構築している。
このようなシナジーとトランスフォーマーモデルの強力なパターン認識能力が組み合わさって、強力なエポゾディック・アテンション機構を提供する。
CECの有効性は2つの代表的なシナリオで示される:例えばDeepMind Lab(英語版)では、カリキュラムは個別および漸進的に複雑な環境で学習の進行を捉えるが、RoboMimic(英語版)では、カリキュラムは実証者の専門知識の向上を捉えている。
いずれの場合も、CECから得られるポリシーは優れた性能と強力な一般化を示す。
Transformerエージェント学習の研究を促進するため、コードはhttps://cec-agent.github.io/でオープンソース化されている。
関連論文リスト
- CNN-Transformer Rectified Collaborative Learning for Medical Image Segmentation [60.08541107831459]
本稿では,医用画像セグメンテーションのための強力なCNNベースモデルとトランスフォーマーベースモデルを学習するための,CNN-Transformer修正協調学習フレームワークを提案する。
具体的には,学生ソフトラベルの誤り領域を適応的に選択・修正する基礎的真理を取り入れた修正ロジット・ワイド・コラボレーティブ・ラーニング(RLCL)戦略を提案する。
また,機能空間におけるCNNベースモデルとTransformerベースモデル間の効果的な知識伝達を実現するために,クラス認識型特徴量協調学習(CFCL)戦略を提案する。
論文 参考訳（メタデータ） (2024-08-25T01:27:35Z) - Variational Curriculum Reinforcement Learning for Unsupervised Discovery
of Skills [25.326624139426514]
本稿では,VUVC(Value Uncertainty Vari Curriculum Curriculum)と呼ばれる情報理論に基づく教師なしスキル発見手法を提案する。
規則性条件下では、VUVCは、均一なカリキュラムに比べて訪問状態のエントロピーの増加を加速させる。
また,本手法によって発見された技術は,ゼロショット設定で現実のロボットナビゲーションタスクを達成できることを実証した。
論文 参考訳（メタデータ） (2023-10-30T10:34:25Z) - How Do Transformers Learn In-Context Beyond Simple Functions? A Case
Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。
合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。
理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文 参考訳（メタデータ） (2023-10-16T17:40:49Z) - Integrating Contrastive Learning into a Multitask Transformer Model for
Effective Domain Adaptation [4.157415305926585]
本稿では,SERを主課題とするマルチタスクフレームワークを具現化した新しいドメイン適応手法を提案する。
提案手法は, クロスコーパスシナリオにおけるSERの最先端性能を実現する。
論文 参考訳（メタデータ） (2023-10-07T06:41:29Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳（メタデータ） (2023-03-21T07:49:32Z) - Weakly Supervised Disentangled Representation for Goal-conditioned
Reinforcement Learning [15.698612710580447]
本稿では,サンプル効率の向上と政策一般化を目的としたスキル学習フレームワークDR-GRLを提案する。
本稿では,解釈可能かつ制御可能な表現を学習するための空間変換オートエンコーダ(STAE)を提案する。
DR-GRLは, 試料効率と政策一般化において, 従来の手法よりも有意に優れていたことを実証的に実証した。
論文 参考訳（メタデータ） (2022-02-28T09:05:14Z) - Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。
本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。
既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
論文 参考訳（メタデータ） (2021-10-06T19:30:25Z) - 3D Human Action Representation Learning via Cross-View Consistency
Pursuit [52.19199260960558]
教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。
CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
論文 参考訳（メタデータ） (2021-04-29T16:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。