論文の概要: Learning Versatile Skills with Curriculum Masking
- arxiv url: http://arxiv.org/abs/2410.17744v2
- Date: Mon, 04 Nov 2024 08:40:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:42:41.486946
- Title: Learning Versatile Skills with Curriculum Masking
- Title（参考訳）: カリキュラム・マスキングによるVersatile Skillsの学習
- Authors: Yao Tang, Zhihui Xie, Zichuan Lin, Deheng Ye, Shuai Li,
- Abstract要約: 逐次意思決定のためのカリキュラムマスキング事前学習パラダイムであるCurrMaskを提案する。
CurrMaskは、カリキュラムで知識を整理して学習する方法に触発され、多様なスキルを学ぶための事前訓練中にマスクの仕組みを調整する。
- 参考スコア（独自算出の注目度）: 22.094699128623024
- License:
- Abstract: Masked prediction has emerged as a promising pretraining paradigm in offline reinforcement learning (RL) due to its versatile masking schemes, enabling flexible inference across various downstream tasks with a unified model. Despite the versatility of masked prediction, it remains unclear how to balance the learning of skills at different levels of complexity. To address this, we propose CurrMask, a curriculum masking pretraining paradigm for sequential decision making. Motivated by how humans learn by organizing knowledge in a curriculum, CurrMask adjusts its masking scheme during pretraining for learning versatile skills. Through extensive experiments, we show that CurrMask exhibits superior zero-shot performance on skill prompting tasks, goal-conditioned planning tasks, and competitive finetuning performance on offline RL tasks. Additionally, our analysis of training dynamics reveals that CurrMask gradually acquires skills of varying complexity by dynamically adjusting its masking scheme.
- Abstract（参考訳）: マスク付き予測は、多目的マスキング方式により、オフライン強化学習(RL)において有望な事前学習パラダイムとして出現し、統一モデルにより、下流の様々なタスクに柔軟な推論を可能にする。
マスク付き予測の汎用性にもかかわらず、異なるレベルの複雑さにおいて、スキルの学習のバランスをとる方法が不明確である。
そこで我々はCurrMaskを提案する。CurrMaskはシーケンシャルな意思決定のための学習前トレーニングパラダイムである。
CurrMaskは、カリキュラムで知識を整理して学習する方法に触発され、多様なスキルを学ぶための事前訓練中にマスクの仕組みを調整する。
広範にわたる実験により、CurrMaskは、スキルプロンプトタスク、目標条件付計画タスク、オフラインRLタスクにおける競合微調整性能において優れたゼロショット性能を示すことを示した。
さらに、トレーニングダイナミクスの分析により、CurrMaskは、そのマスキングスキームを動的に調整することで、様々な複雑さのスキルを徐々に習得することが明らかとなった。
関連論文リスト
- Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳（メタデータ） (2023-12-31T12:03:21Z) - CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。
我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
論文 参考訳（メタデータ） (2023-08-31T09:13:30Z) - Difference-Masking: Choosing What to Mask in Continued Pretraining [56.76782116221438]
本研究では,事前訓練中のマスクを自動的に選択するマスキング戦略である差分マスキングを導入する。
差分マスキングは、4つの言語のみ、マルチモーダルなビデオタスクにおいて、継続した事前学習設定のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-23T23:31:02Z) - Improving self-supervised representation learning via sequential
adversarial masking [12.176299580413097]
マスキングベースのプレテキストタスクはNLPを超えて拡張され、コンピュータビジョンにおいて有用な事前学習の目的として機能する。
敵に異なる制約で連続的にマスクを生成する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-12-16T04:25:43Z) - Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。
我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
論文 参考訳（メタデータ） (2022-11-23T07:04:41Z) - Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。
PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。
本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
論文 参考訳（メタデータ） (2022-08-23T08:27:52Z) - Improving Self-supervised Pre-training via a Fully-Explored Masked
Language Model [57.77981008219654]
Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。
そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
論文 参考訳（メタデータ） (2020-10-12T21:28:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。