論文の概要: On The Transferability of Deep-Q Networks

• arxiv url: http://arxiv.org/abs/2110.02639v1
• Date: Wed, 6 Oct 2021 10:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 00:51:54.443082
• Title: On The Transferability of Deep-Q Networks
• Title（参考訳）: ディープQネットワークの転送性について
• Authors: Matthia Sabatelli, Pierre Geurts
• Abstract要約: Transfer Learningは、ディープニューラルネットワークのトレーニングの成功を特徴付けるハードルを克服することのできる、効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクセット上での転送可能性について検討する。
• 参考スコア（独自算出の注目度）: 6.822707222147354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer Learning (TL) is an efficient machine learning paradigm that allows overcoming some of the hurdles that characterize the successful training of deep neural networks, ranging from long training times to the needs of large datasets. While exploiting TL is a well established and successful training practice in Supervised Learning (SL), its applicability in Deep Reinforcement Learning (DRL) is rarer. In this paper, we study the level of transferability of three different variants of Deep-Q Networks on popular DRL benchmarks as well as on a set of novel, carefully designed control tasks. Our results show that transferring neural networks in a DRL context can be particularly challenging and is a process which in most cases results in negative transfer. In the attempt of understanding why Deep-Q Networks transfer so poorly, we gain novel insights into the training dynamics that characterizes this family of algorithms.
• Abstract（参考訳）: 転送学習(tl)は、長いトレーニング時間から大規模なデータセットのニーズまで、ディープニューラルネットワークのトレーニングの成功を特徴付けるいくつかのハードルを克服する効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクのセット上での転送可能性について検討する。 以上の結果から,DRLコンテキストにおけるニューラルネットワークの転送は特に困難であり,ほとんどの場合,負の転送が生じるプロセスであることが示唆された。 ディープqネットワークの移動がなぜ不十分かを理解するために、このアルゴリズムを特徴付けるトレーニングダイナミクスに関する新たな洞察を得ました。

関連論文リスト

• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
  我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。 我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。 我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
  論文  参考訳（メタデータ） (2023-06-20T21:30:54Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• The State of Sparse Training in Deep Reinforcement Learning [23.034856834801346]
  スパースニューラルネットワークの使用は近年急速に増加しており、特にコンピュータビジョンにおいてである。 彼らの魅力は、トレーニングと保存に必要なパラメータの削減と、学習効率の向上にある。 我々は,様々な深層強化学習エージェントや環境に,既存のスパーストレーニング技術を応用するための体系的な調査を行う。
  論文  参考訳（メタデータ） (2022-06-17T14:08:00Z)
• Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning [5.130440339897478]
  ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。 本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。 また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T08:31:03Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Training Larger Networks for Deep Reinforcement Learning [18.193180866998333]
  ネットワーク容量の増加は性能を向上しないことを示す。 本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。 この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-02-16T02:16:54Z)
• Deep Transfer Learning with Ridge Regression [7.843067454030999]
  大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。 我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。 本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
  論文  参考訳（メタデータ） (2020-06-11T20:21:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。