論文の概要: Component Transfer Learning for Deep RL Based on Abstract Representations

• arxiv url: http://arxiv.org/abs/2111.11525v1
• Date: Mon, 22 Nov 2021 20:48:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 07:38:29.993463
• Title: Component Transfer Learning for Deep RL Based on Abstract Representations
• Title（参考訳）: 抽象表現に基づく深部RLの成分移動学習
• Authors: Geoffrey van Driessel, Vincent Francois-Lavet
• Abstract要約: 本研究では, 深層強化学習のための特定の伝達学習手法について検討する。 我々は、環境の低次元符号化を学習し、そこから内部力学と値関数を学習する要約をキャプチャする。 その後、学習した内部ダイナミクスと値関数を凍結し、共有された低次元埋め込み空間を再利用することで転送が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we investigate a specific transfer learning approach for deep reinforcement learning in the context where the internal dynamics between two tasks are the same but the visual representations differ. We learn a low-dimensional encoding of the environment, meant to capture summarizing abstractions, from which the internal dynamics and value functions are learned. Transfer is then obtained by freezing the learned internal dynamics and value functions, thus reusing the shared low-dimensional embedding space. When retraining the encoder for transfer, we make several observations: (i) in some cases, there are local minima that have small losses but a mismatching embedding space, resulting in poor task performance and (ii) in the absence of local minima, the output of the encoder converges in our experiments to the same embedding space, which leads to a fast and efficient transfer as compared to learning from scratch. The local minima are caused by the reduced degree of freedom of the optimization process caused by the frozen models. We also find that the transfer performance is heavily reliant on the base model; some base models often result in a successful transfer, whereas other base models often result in a failing transfer.
• Abstract（参考訳）: 本研究では,2つのタスク間の内部ダイナミクスが同じだが視覚的表現が異なる状況下で,深層強化学習のための特定の伝達学習手法を検討する。 我々は環境の低次元エンコーディングを学習し、内部ダイナミクスと値関数が学習される抽象概念の要約を捉えることを目的としている。 次に、学習した内部ダイナミクスと値関数を凍結することにより、共有低次元埋め込み空間を再利用する。 転送のためにエンコーダを再トレーニングする場合、いくつかの観察を行います。 (i)小さな損失しか持たないがミスマッチした埋め込み空間を持つ局所的なミニマがあり、結果としてタスク性能が低下する場合がある。 (ii) 局所最小値がない場合, エンコーダの出力は実験中に同じ埋め込み空間に収束し, スクラッチからの学習に比べて高速かつ効率的に伝達する。 局所的なミニマは、凍結モデルによって引き起こされる最適化プロセスの自由度が低下することに起因する。 また、転送性能はベースモデルに大きく依存しており、ベースモデルによっては転送が成功することが多いが、他のベースモデルでは転送が失敗することが多い。

関連論文リスト

• Features are fate: a theory of transfer learning in high-dimensional regression [23.840251319669907]
  対象タスクが事前学習されたモデルの特徴空間で適切に表現されている場合、転送学習はスクラッチからトレーニングに優れることを示す。 本モデルでは, 音源と目標タスクの重なり合う特徴空間が十分に強い場合, 線形転送と微調整の両方で性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:26Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Accelerated Neural Network Training with Rooted Logistic Objectives [13.400503928962756]
  我々は、少なくともロジスティック損失と同じくらい厳密なエムの厳密凸関数列を導出する。 その結果,根付き損失関数による学習はより早く収束し,性能が向上した。
  論文  参考訳（メタデータ） (2023-10-05T20:49:48Z)
• Masked Image Modeling with Local Multi-Scale Reconstruction [54.91442074100597]
  Masked Image Modeling (MIM) は自己教師付き表現学習において顕著な成功を収めている。 既存のMIMモデルはエンコーダの最上層でのみ再構成タスクを実行する。 そこで我々は,下層と上層がそれぞれ微細かつ粗大な監視信号を再構成する局所的マルチスケール再構成を設計する。
  論文  参考訳（メタデータ） (2023-03-09T13:42:04Z)
• Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
  トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。 最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。 このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T17:32:11Z)
• Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks [27.17697714584768]
  ディープニューラルネットワーク(DNN)の伝達学習の一般化挙動について検討する。 目標トレーニング中のテストエラーの進化は、目標トレーニングデータセットが十分に大きい場合、より顕著な二重降下効果を有することを示す。 また、二重降下現象は、より関連するソースタスクからの転送よりも、関連するソースタスクからの転送をより良くする可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-20T20:26:23Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。