論文の概要: SMART: Self-supervised Multi-task pretrAining with contRol Transformers

• arxiv url: http://arxiv.org/abs/2301.09816v1
• Date: Tue, 24 Jan 2023 05:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:30:44.986351
• Title: SMART: Self-supervised Multi-task pretrAining with contRol Transformers
• Title（参考訳）: SMART:contRol変換器を用いた自己教師型マルチタスクプリトランザ
• Authors: Yanchao Sun, Shuang Ma, Ratnesh Madaan, Rogerio Bonatti, Furong Huang, Ashish Kapoor
• Abstract要約: 自己指導型事前訓練は言語と視覚領域で広く研究されている。 シーケンシャルな意思決定タスクのための事前学習アプローチを適切に設計することは困難である。 逐次意思決定のための一般的な事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 34.604339091596884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pretraining has been extensively studied in language and vision domains, where a unified model can be easily adapted to various downstream tasks by pretraining representations without explicit labels. When it comes to sequential decision-making tasks, however, it is difficult to properly design such a pretraining approach that can cope with both high-dimensional perceptual information and the complexity of sequential control over long interaction horizons. The challenge becomes combinatorially more complex if we want to pretrain representations amenable to a large variety of tasks. To tackle this problem, in this work, we formulate a general pretraining-finetuning pipeline for sequential decision making, under which we propose a generic pretraining framework \textit{Self-supervised Multi-task pretrAining with contRol Transformer (SMART)}. By systematically investigating pretraining regimes, we carefully design a Control Transformer (CT) coupled with a novel control-centric pretraining objective in a self-supervised manner. SMART encourages the representation to capture the common essential information relevant to short-term control and long-term control, which is transferrable across tasks. We show by extensive experiments in DeepMind Control Suite that SMART significantly improves the learning efficiency among seen and unseen downstream tasks and domains under different learning scenarios including Imitation Learning (IL) and Reinforcement Learning (RL). Benefiting from the proposed control-centric objective, SMART is resilient to distribution shift between pretraining and finetuning, and even works well with low-quality pretraining datasets that are randomly collected.
• Abstract（参考訳）: 自己教師付き事前学習は、明示的なラベルなしで表現を事前学習することで、統一モデルが様々な下流タスクに容易に適応できる言語および視覚領域で広く研究されている。 しかし、逐次的な意思決定タスクに関しては、高次元の知覚情報と長い相互作用の地平線上の逐次制御の複雑さの両方に対処できる事前学習アプローチを適切に設計することは困難である。 様々なタスクに対応可能な表現を事前訓練したい場合、この課題は組合せ的に複雑になる。 そこで本研究では,逐次的意思決定のための一般的な事前学習パイプラインを定式化し,制御トランスフォーマ (smart)} を用いた汎用事前学習フレームワーク \textit{self-supervised multi-task pretraining を提案する。 事前学習体制を体系的に検討することにより、制御変換器(CT)と制御中心の新たな事前学習目標を自己管理的に設計する。 smartは、タスク間で転送可能な短期的制御と長期的制御に関連する共通の必須情報を取得するよう表現を奨励する。 我々は、Imitation Learning (IL) やReinforcement Learning (RL) といった異なる学習シナリオ下で、SMARTは、見知らぬ下流のタスクやドメイン間の学習効率を著しく向上することを示す。 SMARTは、提案された制御中心の目標に適合し、事前学習と微調整の間の分散シフトに耐性があり、ランダムに収集される低品質の事前学習データセットでもうまく機能する。

関連論文リスト

• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach [14.674494335647841]
  本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。 我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
  論文  参考訳（メタデータ） (2022-07-13T15:16:51Z)
• Consecutive Pretraining: A Knowledge Transfer Learning Strategy with Relevant Unlabeled Data for Remote Sensing Domain [25.84756140221655]
  自然言語処理(NLP)における事前学習を停止しないという考え方に基づいて,CSPT(ConSecutive PreTraining)を提案する。 提案したCSPTは、タスク対応モデルトレーニングのためのラベルなしデータの巨大な可能性を公開することもできる。 その結果,提案したCSPTをタスク認識モデルトレーニングに活用することにより,従来の教師付きプレトレーニング-then-fine-tuning法よりもRTDのダウンストリームタスクのほとんどを上回り得ることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T12:32:09Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Robust Transfer Learning with Pretrained Language Models through Adapters [40.45102278979193]
  BERTのような大きな事前訓練された言語モデルによる伝達学習は、ほとんどのNLPタスクにおいて支配的なアプローチとなっている。 これらの問題を緩和するために, 単純かつ効果的なアダプタベースのアプローチを提案する。 実験により,このような学習手法が,様々な下流タスクへの伝達学習における安定性と対角的堅牢性の向上につながることが示された。
  論文  参考訳（メタデータ） (2021-08-05T02:30:13Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。