論文の概要: Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2108.06526v1
- Date: Sat, 14 Aug 2021 12:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:26:14.317027
- Title: Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
- Title(参考訳): 深層モデルに基づく強化学習のためのフラクショナルトランスファー学習
- Authors: Remo Sasso, Matthia Sabatelli, Marco A. Wiering
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。
モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。
簡単な代替手法として、分数変換学習を提案する。
- 参考スコア(独自算出の注目度): 0.966840768820136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) is well known for requiring large amounts of data
in order for RL agents to learn to perform complex tasks. Recent progress in
model-based RL allows agents to be much more data-efficient, as it enables them
to learn behaviors of visual environments in imagination by leveraging an
internal World Model of the environment. Improved sample efficiency can also be
achieved by reusing knowledge from previously learned tasks, but transfer
learning is still a challenging topic in RL. Parameter-based transfer learning
is generally done using an all-or-nothing approach, where the network's
parameters are either fully transferred or randomly initialized. In this work
we present a simple alternative approach: fractional transfer learning. The
idea is to transfer fractions of knowledge, opposed to discarding potentially
useful knowledge as is commonly done with random initialization. Using the
World Model-based Dreamer algorithm, we identify which type of components this
approach is applicable to, and perform experiments in a new multi-source
transfer learning setting. The results show that fractional transfer learning
often leads to substantially improved performance and faster learning compared
to learning from scratch and random initialization.
- Abstract(参考訳): 強化学習(RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。
モデルベースRLの最近の進歩により、エージェントはよりデータ効率が良くなり、内部のワールドモデルを活用することで、視覚環境の振る舞いを想像で学べるようになった。
サンプル効率の改善は、以前に学習したタスクから知識を再利用することでも達成できるが、転送学習はRLの課題である。
パラメータベースの転送学習は一般的に、ネットワークのパラメータが完全に転送されるかランダムに初期化されるオール・オア・ナッシング・アプローチを用いて行われる。
本研究では,簡単な代替手法である分数転送学習を提案する。
アイデアは知識の分数を転送することであり、ランダム初期化で一般的に行われるような潜在的に有用な知識を破棄することとは対照的である。
World Model-based Dreamerアルゴリズムを用いて、このアプローチが適用可能なコンポーネントの種類を特定し、新しいマルチソース転送学習環境で実験を行う。
その結果,スクラッチからの学習やランダムな初期化に比べて,分数変換学習が性能と学習の大幅な向上につながることが示唆された。
関連論文リスト
- Learning from Teaching Regularization: Generalizable Correlations Should be Easy to Imitate [40.5601980891318]
一般化は依然として機械学習における中心的な課題である。
本稿では,ニューラルネットワークを一般化するための新しい正規化手法であるLearning from Teaching (LoT)を提案する。
LoTはこの概念を運用し、補助的な学生学習者によるメインモデルの一般化を改善する。
論文 参考訳(メタデータ) (2024-02-05T07:05:17Z) - REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous
Manipulation [61.7171775202833]
本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
論文 参考訳(メタデータ) (2023-09-06T19:05:31Z) - Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative
Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。
このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2022-05-20T16:19:30Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳(メタデータ) (2022-05-02T14:42:05Z) - CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。
提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文 参考訳(メタデータ) (2022-04-04T14:49:19Z) - Transfer of Pretrained Model Weights Substantially Improves
Semi-Supervised Image Classification [3.492636597449942]
ディープニューラルネットワークは、多数のラベル付きサンプルでトレーニングされた場合、最先端の結果を生成する。
ディープニューラルネットワークは、少数のラベル付きサンプルがトレーニングに使用される場合、過度に適合する傾向がある。
ラベル付きサンプルがほとんどない場合、転送学習がモデルの精度を大幅に向上することを示す。
論文 参考訳(メタデータ) (2021-09-02T08:58:34Z) - On the Theory of Reinforcement Learning with Once-per-Episode Feedback [120.5537226120512]
本稿では,エピソード終盤に一度だけフィードバックを受ける強化学習の理論を紹介する。
これは、学習者が毎回フィードバックを受け取るという従来の要件よりも、現実世界のアプリケーションの代表的です。
論文 参考訳(メタデータ) (2021-05-29T19:48:51Z) - Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。
RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2020-11-19T18:47:40Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Minimax Lower Bounds for Transfer Learning with Linear and One-hidden
Layer Neural Networks [27.44348371795822]
転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。
ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
論文 参考訳(メタデータ) (2020-06-16T22:49:26Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳(メタデータ) (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。