論文の概要: Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2010.14498v2
• Date: Mon, 25 Oct 2021 03:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:31:42.759277
• Title: Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning
• Title（参考訳）: インシシットアンダーパラメータ化はデータ効率のよい深層強化学習を阻害する
• Authors: Aviral Kumar, Rishabh Agarwal, Dibya Ghosh, Sergey Levine
• Abstract要約: さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
• 参考スコア（独自算出の注目度）: 97.28695683236981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We identify an implicit under-parameterization phenomenon in value-based deep RL methods that use bootstrapping: when value functions, approximated using deep neural networks, are trained with gradient descent using iterated regression onto target values generated by previous instances of the value network, more gradient updates decrease the expressivity of the current value network. We characterize this loss of expressivity via a drop in the rank of the learned value network features, and show that this typically corresponds to a performance drop. We demonstrate this phenomenon on Atari and Gym benchmarks, in both offline and online RL settings. We formally analyze this phenomenon and show that it results from a pathological interaction between bootstrapping and gradient-based optimization. We further show that mitigating implicit under-parameterization by controlling rank collapse can improve performance.
• Abstract（参考訳）: ディープニューラルネットワークを用いて近似された値関数を反復回帰を用いて勾配降下で訓練した場合、以前の値ネットワークのインスタンスによって生成されたターゲット値に対して、より勾配更新が現在の値ネットワークの表現率を低下させる。 この表現力の喪失を,学習値ネットワークの特徴のランクの低下によって特徴付けし,パフォーマンスの低下と典型的に一致することを示す。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。 この現象を形式的に解析し,ブートストラップと勾配に基づく最適化の病理学的相互作用の結果を示す。 さらに,ランク崩壊制御による暗黙的アンダーパラメータ化の緩和により,性能が向上することを示す。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Stop Regressing: Training Value Functions via Classification for Scalable Deep RL [109.44370201929246]
  分類的クロスエントロピーを用いた値関数のトレーニングにより,様々な領域における性能とスケーラビリティが向上することを示す。 例えば、SoftMoEによるAtari 2600ゲームでのシングルタスクRL、大規模ResNetによるAtariでのマルチタスクRL、Q-トランスフォーマーによるロボット操作、検索なしでチェスをプレイする、高容量トランスフォーマーによる言語エージェントWordleタスクなどがある。
  論文  参考訳（メタデータ） (2024-03-06T18:55:47Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Improving Deep Policy Gradients with Value Function Search [21.18135854494779]
  本稿では、値近似の改善とDeep PGプリミティブへの影響の分析に焦点をあてる。 本稿では,より優れた近似を求めるために,摂動値ネットワークの集団を用いた値関数探索を提案する。 我々のフレームワークは、追加の環境相互作用、勾配計算、アンサンブルを必要としない。
  論文  参考訳（メタデータ） (2023-02-20T18:23:47Z)
• An Empirical Study of Implicit Regularization in Deep Offline RL [44.62587507925864]
  3つのオフラインRLデータセットにおける有効ランクと性能の関係について検討する。 暗黙の正規化が学習力学に与える影響を説明する学習の3つの段階を同定する。
  論文  参考訳（メタデータ） (2022-07-05T15:07:31Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。