論文の概要: On The Transferability of Deep-Q Networks

• arxiv url: http://arxiv.org/abs/2110.02639v1
• Date: Wed, 6 Oct 2021 10:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 00:51:54.443082
• Title: On The Transferability of Deep-Q Networks
• Title（参考訳）: ディープQネットワークの転送性について
• Authors: Matthia Sabatelli, Pierre Geurts
• Abstract要約: Transfer Learningは、ディープニューラルネットワークのトレーニングの成功を特徴付けるハードルを克服することのできる、効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクセット上での転送可能性について検討する。
• 参考スコア（独自算出の注目度）: 6.822707222147354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer Learning (TL) is an efficient machine learning paradigm that allows overcoming some of the hurdles that characterize the successful training of deep neural networks, ranging from long training times to the needs of large datasets. While exploiting TL is a well established and successful training practice in Supervised Learning (SL), its applicability in Deep Reinforcement Learning (DRL) is rarer. In this paper, we study the level of transferability of three different variants of Deep-Q Networks on popular DRL benchmarks as well as on a set of novel, carefully designed control tasks. Our results show that transferring neural networks in a DRL context can be particularly challenging and is a process which in most cases results in negative transfer. In the attempt of understanding why Deep-Q Networks transfer so poorly, we gain novel insights into the training dynamics that characterizes this family of algorithms.
• Abstract（参考訳）: 転送学習(tl)は、長いトレーニング時間から大規模なデータセットのニーズまで、ディープニューラルネットワークのトレーニングの成功を特徴付けるいくつかのハードルを克服する効率的な機械学習パラダイムである。 TLの利用は、SL(Supervised Learning)において十分に確立され、成功した訓練実践であるが、DRL(Deep Reinforcement Learning)の適用性は稀である。 本稿では,3種類のDeep-Q NetworksのDRLベンチマークおよび新しい制御タスクのセット上での転送可能性について検討する。 以上の結果から,DRLコンテキストにおけるニューラルネットワークの転送は特に困難であり,ほとんどの場合,負の転送が生じるプロセスであることが示唆された。 ディープqネットワークの移動がなぜ不十分かを理解するために、このアルゴリズムを特徴付けるトレーニングダイナミクスに関する新たな洞察を得ました。

関連論文リスト

• Achieving Network Resilience through Graph Neural Network-enabled Deep Reinforcement Learning [64.20847540439318]
  深層強化学習(DRL)は多くの重要な通信ネットワークのタスクで広く利用されている。 グラフニューラルネットワーク(GNN)とDRLを組み合わせて、GNNを用いてネットワークの非構造的特徴を抽出する研究もある。 本稿では,GNNとDRLを組み合わせたレジリエントネットワークの構築について検討する。
  論文  参考訳（メタデータ） (2025-01-19T15:22:17Z)
• Deep Transfer $Q$-Learning for Offline Non-Stationary Reinforcement Learning [3.2839905453386162]
  本稿では,非定常有限水平マルコフ決定過程によってモデル化された動的決定シナリオに対する伝達学習の研究を先導する。 トランスファー可能なRLサンプル'を構築するために、新しい「再重み付きターゲティングプロシージャ'」を導入し、転送深度$Q*$-learning'を提案する。 ニューラルネットワーク近似および遷移密度伝達における伝達学習の解析手法は、より広範な意味を持つ。
  論文  参考訳（メタデータ） (2025-01-08T23:03:18Z)
• Deep Fusion: Efficient Network Training via Pre-trained Initializations [3.9146761527401424]
  我々は、より小さなネットワークの初期化を事前訓練したネットワークトレーニングの効率的なアプローチであるDeep Fusionを提案する。 我々の実験は、Deep Fusionが訓練プロセスを加速するだけでなく、計算要求を減少させる実用的で効果的なアプローチであることを示す。 我々は,Deep Fusionの最適利用を導く理論的枠組みを検証し,トレーニング時間と資源消費の両方を著しく削減することを示した。
  論文  参考訳（メタデータ） (2023-06-20T21:30:54Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning [5.130440339897478]
  ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。 本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。 また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T08:31:03Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Training Larger Networks for Deep Reinforcement Learning [18.193180866998333]
  ネットワーク容量の増加は性能を向上しないことを示す。 本稿では,1)DenseNet接続の広いネットワーク,2)RLのトレーニングから表現学習を分離する,3)オーバーフィッティング問題を軽減するための分散トレーニング手法を提案する。 この3倍の手法を用いることで、非常に大きなネットワークをトレーニングでき、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-02-16T02:16:54Z)
• Deep Transfer Learning with Ridge Regression [7.843067454030999]
  大量のデータで訓練されたディープモデルは、関連するドメインから見えないデータに対して有望な一般化能力を示す。 我々は、深層ニューラルネットワーク(DNN)から生成された学習特徴ベクトルの低ランク性と、カーネルリッジ回帰(KRR)で提供されるクローズドフォームソリューションを活用することで、この問題に対処する。 本手法は、教師あり半教師ありのトランスファー学習タスクにおいて成功している。
  論文  参考訳（メタデータ） (2020-06-11T20:21:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。