論文の概要: Overcoming the Spectral Bias of Neural Value Approximation

• arxiv url: http://arxiv.org/abs/2206.04672v1
• Date: Thu, 9 Jun 2022 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 14:37:09.604451
• Title: Overcoming the Spectral Bias of Neural Value Approximation
• Title（参考訳）: 神経値近似のスペクトルバイアスを克服する
• Authors: Ge Yang, Anurag Ajay, Pulkit Agrawal
• Abstract要約: ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
• 参考スコア（独自算出の注目度）: 17.546011419043644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Value approximation using deep neural networks is at the heart of off-policy deep reinforcement learning, and is often the primary module that provides learning signals to the rest of the algorithm. While multi-layer perceptron networks are universal function approximators, recent works in neural kernel regression suggest the presence of a spectral bias, where fitting high-frequency components of the value function requires exponentially more gradient update steps than the low-frequency ones. In this work, we re-examine off-policy reinforcement learning through the lens of kernel regression and propose to overcome such bias via a composite neural tangent kernel. With just a single line-change, our approach, the Fourier feature networks (FFN) produce state-of-the-art performance on challenging continuous control domains with only a fraction of the compute. Faster convergence and better off-policy stability also make it possible to remove the target network without suffering catastrophic divergences, which further reduces TD}(0)'s estimation bias on a few tasks.
• Abstract（参考訳）: ディープニューラルネットワークを用いた値近似は、オフポリシーなディープ強化学習の中心であり、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 多層パーセプトロンネットワークは普遍関数近似であるのに対し、神経核回帰における最近の研究はスペクトルバイアスの存在を示唆している。 本研究では,オフポリシー強化学習をカーネル回帰のレンズを通して再検討し,複合神経接核によるバイアスを克服する手法を提案する。 私たちのアプローチである1行の変更だけで、フーリエ機能ネットワーク(ffn)は、計算のほんの一部で、継続的な制御ドメインに挑戦する上で、最先端のパフォーマンスを提供します。 より高速な収束とより良いオフ・ポリシーの安定性により、壊滅的な多様性に苦しむことなくターゲットネットワークを除去できるため、いくつかのタスクでtd}(0)の推定バイアスがさらに軽減される。

関連論文リスト

• Sharper analysis of sparsely activated wide neural networks with trainable biases [103.85569570164404]
  本研究は,ニューラル・タンジェント・カーネル(NTK)の勾配勾配による一層超過パラメータ化ReLUネットワークのトレーニング研究である。 驚くべきことに、スパシフィケーション後のネットワークは、元のネットワークと同じくらい高速に収束できることが示されている。 一般化境界は制限NTKの最小固有値に依存するため、この研究は制限NTKの最小固有値をさらに研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• A Neural-Network-Based Convex Regularizer for Image Reconstruction [19.347783516439165]
  逆問題を解決するためのディープラーニング手法は、しばしば信頼性と説明可能性に欠ける。 本研究では、学習可能なアクティベーション関数を増大させた単一の隠れ層を持つニューラルネットワークを多段階ガウスデノイザとして訓練する。 鑑別、CT、MRI再構成の実験は、同様の信頼性保証を提供する方法よりも改善されている。
  論文  参考訳（メタデータ） (2022-11-22T18:19:10Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [147.9007729657767]
  ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。 我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。 神経性交流は,大域的最適政策をサブ線形速度で求める。
  論文  参考訳（メタデータ） (2021-12-27T06:09:50Z)
• Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks [2.0305676256390934]
  偏微分方程式に対するニューラルネットワーク解の収束率と精度を改善するための階層的手法を提案する。 線形偏微分方程式と非線形偏微分方程式の組によって提案した階層的手法の効率性とロバスト性を検証する。
  論文  参考訳（メタデータ） (2021-12-02T13:53:42Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。