論文の概要: Cross-domain Random Pre-training with Prototypes for Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2302.05614v1
- Date: Sat, 11 Feb 2023 06:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 19:27:34.251928
- Title: Cross-domain Random Pre-training with Prototypes for Reinforcement
Learning
- Title(参考訳): 強化学習のためのプロトタイプを用いたクロスドメインランダム事前学習
- Authors: Xin Liu, Yaran Chen, Haoran Li, Boyu Li and Dongbin Zhao
- Abstract要約: タスク非依存型クロスドメイン事前学習は、画像ベース強化学習(RL)において大きな可能性を秘めている
CRPTproは、画像ベースのRLのプロトタイプを備えたクロスドメインのランダム事前訓練フレームワークである。
CRPTproはクロスドメインランダムポリシーを使用して、複数のドメインから多様なデータを簡単かつ迅速にサンプリングし、事前学習効率を向上させる。
- 参考スコア(独自算出の注目度): 14.395982222675114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task-agnostic cross-domain pre-training shows great potential in image-based
Reinforcement Learning (RL) but poses a big challenge. In this paper, we
propose CRPTpro, a Cross-domain self-supervised Random Pre-Training framework
with prototypes for image-based RL. CRPTpro employs cross-domain random policy
to easily and quickly sample diverse data from multiple domains, to improve
pre-training efficiency. Moreover, prototypical representation learning with a
novel intrinsic loss is proposed to pre-train an effective and generic encoder
across different domains. Without finetuning, the cross-domain encoder can be
implemented for challenging downstream visual-control RL tasks defined in
different domains efficiently. Compared with prior arts like APT and Proto-RL,
CRPTpro achieves better performance on cross-domain downstream RL tasks without
extra training on exploration agents for expert data collection, greatly
reducing the burden of pre-training. Experiments on DeepMind Control suite
(DMControl) demonstrate that CRPTpro outperforms APT significantly on 11/12
cross-domain RL tasks with only 39% pre-training hours, becoming a
state-of-the-art cross-domain pre-training method in both policy learning
performance and pre-training efficiency. The complete code will be released at
https://github.com/liuxin0824/CRPTpro.
- Abstract(参考訳): タスク非依存のクロスドメイン事前トレーニングは、イメージベース強化学習(RL)において大きな可能性を秘めているが、大きな課題となっている。
本稿では,画像ベースRLのプロトタイプを用いたクロスドメイン自己教師型ランダム事前学習フレームワークCRPTproを提案する。
CRPTproはクロスドメインランダムポリシーを使用して、複数のドメインから多様なデータを簡単かつ迅速にサンプリングし、事前学習効率を向上させる。
さらに,異なる領域にまたがる有効で汎用的なエンコーダを事前学習するために,新しい内在的損失を伴う原型表現学習を提案する。
微調整なしで、クロスドメインエンコーダは、異なるドメインで定義された下流視覚制御RLタスクに効率よく挑戦するために実装できる。
APTやProto-RLといった先行技術と比較して、CRPTproは専門家データ収集のための探索エージェントを余分に訓練することなく、クロスドメインの下流RLタスクのパフォーマンス向上を実現し、事前学習の負担を大幅に軽減する。
DeepMind Control Suite(DMControl)の実験では、CRPTproは11/12のクロスドメインRLタスクにおいてわずか39%の事前トレーニング時間でAPTを著しく上回り、政策学習性能と事前トレーニング効率の両方において最先端のクロスドメイン事前トレーニング方法となった。
完全なコードはhttps://github.com/liuxin0824/CRPTproでリリースされる。
関連論文リスト
- Efficient Stagewise Pretraining via Progressive Subnetworks [55.65819977062729]
我々は、トレーニング全体を通して完全なモデルを維持できる代替フレームワークであるプログレッシブサブネットワークトレーニングを提案し、各ステップでモデル内でのみトレインワークを行う。
RaPTr は BERT と UL2 言語モデルの事前トレーニング損失が向上すると同時に,標準的なトレーニングに比べて 20-33% のFLOP の削減が要求される。
論文 参考訳(メタデータ) (2024-02-08T18:49:09Z) - FusDom: Combining In-Domain and Out-of-Domain Knowledge for Continuous
Self-Supervised Learning [54.9235160379917]
FusDomはSSLベースの継続事前トレーニングのためのシンプルで斬新な方法論である。
FusDomは、過去に見られる概念を忘れずに頑健で適応的な表現を学ぶ。
論文 参考訳(メタデータ) (2023-12-20T13:50:05Z) - AlignDet: Aligning Pre-training and Fine-tuning in Object Detection [38.256555424079664]
AlignDetは統合された事前トレーニングフレームワークで、様々な既存の検出器に適応して、相違を緩和することができる。
検出アルゴリズム、モデルバックボーン、データ設定、トレーニングスケジュールなど、さまざまなプロトコル間で大幅な改善が達成できる。
論文 参考訳(メタデータ) (2023-07-20T17:55:14Z) - The Effects of In-domain Corpus Size on pre-training BERT [0.0]
バイオメディカルコーパスの大きさの異なる変換器(BERT)による双方向表現の事前訓練を行った。
その結果、比較的少数のドメイン内データ(4GB)をトレーニング段階の制限で事前トレーニングすることで、下流ドメイン固有のNLPタスクのパフォーマンスが向上することが示された。
論文 参考訳(メタデータ) (2022-12-15T15:49:27Z) - Hypernetworks in Meta-Reinforcement Learning [47.25270748922176]
マルチタスク強化学習(RL)とメタRLは、関連するタスクの分布を一般化することにより、サンプル効率を向上させることを目的としている。
最先端の手法はしばしば、各タスクを個別に学習する退化したソリューションよりも優れている。
Hypernetworksは、退化ソリューションの別々のポリシーを複製し、メタRLに適用できるので、将来性のある道です。
論文 参考訳(メタデータ) (2022-10-20T15:34:52Z) - Efficient Adversarial Training without Attacking: Worst-Case-Aware
Robust Reinforcement Learning [14.702446153750497]
Worst-case-aware Robust RL (WocaR-RL) は、深層強化学習のための堅牢なトレーニングフレームワークである。
我々は,WocaR-RLが様々な攻撃により最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2022-10-12T05:24:46Z) - Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting
the Tree [2.0142516017086165]
プレトレーニングは、パフォーマンスを高め、トレーニング時間を短縮するためのディープラーニングの一般的なテクニックである。
大規模かつ公開可能なデータセットとケースバイケース生成データセットを用いて,RLタスクの事前学習の有効性を評価した。
その結果、関連するデータセットのトレーニング中に学んだフィルタが事前トレーニングを非効率にするのに対して、分散データセットのトレーニング中に学んだフィルタは、RLトレーニング時間を確実に短縮し、80k RLトレーニングステップ後のパフォーマンスを改善することが示唆された。
論文 参考訳(メタデータ) (2021-10-06T04:25:14Z) - Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。
ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。
雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
論文 参考訳(メタデータ) (2021-06-14T18:48:40Z) - RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。
画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。
スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文 参考訳(メタデータ) (2021-06-04T03:08:43Z) - Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。
ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。
タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
論文 参考訳(メタデータ) (2020-04-23T04:21:19Z) - Cross-domain Face Presentation Attack Detection via Multi-domain
Disentangled Representation Learning [109.42987031347582]
顔提示攻撃検出(PAD)は,顔認識システムにおいて緊急に解決すべき課題である。
クロスドメイン顔PADのための効率的な非交叉表現学習を提案する。
我々のアプローチは、不整合表現学習(DR-Net)とマルチドメイン学習(MD-Net)からなる。
論文 参考訳(メタデータ) (2020-04-04T15:45:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。