論文の概要: Overcoming the Spectral Bias of Neural Value Approximation

• arxiv url: http://arxiv.org/abs/2206.04672v1
• Date: Thu, 9 Jun 2022 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 14:37:09.604451
• Title: Overcoming the Spectral Bias of Neural Value Approximation
• Title（参考訳）: 神経値近似のスペクトルバイアスを克服する
• Authors: Ge Yang, Anurag Ajay, Pulkit Agrawal
• Abstract要約: ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
• 参考スコア（独自算出の注目度）: 17.546011419043644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Value approximation using deep neural networks is at the heart of off-policy deep reinforcement learning, and is often the primary module that provides learning signals to the rest of the algorithm. While multi-layer perceptron networks are universal function approximators, recent works in neural kernel regression suggest the presence of a spectral bias, where fitting high-frequency components of the value function requires exponentially more gradient update steps than the low-frequency ones. In this work, we re-examine off-policy reinforcement learning through the lens of kernel regression and propose to overcome such bias via a composite neural tangent kernel. With just a single line-change, our approach, the Fourier feature networks (FFN) produce state-of-the-art performance on challenging continuous control domains with only a fraction of the compute. Faster convergence and better off-policy stability also make it possible to remove the target network without suffering catastrophic divergences, which further reduces TD}(0)'s estimation bias on a few tasks.
• Abstract（参考訳）: ディープニューラルネットワークを用いた値近似は、オフポリシーなディープ強化学習の中心であり、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 多層パーセプトロンネットワークは普遍関数近似であるのに対し、神経核回帰における最近の研究はスペクトルバイアスの存在を示唆している。 本研究では,オフポリシー強化学習をカーネル回帰のレンズを通して再検討し,複合神経接核によるバイアスを克服する手法を提案する。 私たちのアプローチである1行の変更だけで、フーリエ機能ネットワーク(ffn)は、計算のほんの一部で、継続的な制御ドメインに挑戦する上で、最先端のパフォーマンスを提供します。 より高速な収束とより良いオフ・ポリシーの安定性により、壊滅的な多様性に苦しむことなくターゲットネットワークを除去できるため、いくつかのタスクでtd}(0)の推定バイアスがさらに軽減される。

関連論文リスト

• Deep Learning without Global Optimization by Random Fourier Neural Networks [0.0]
  本稿では、ランダムな複雑な指数関数活性化関数を利用する様々なディープニューラルネットワークのための新しいトレーニングアルゴリズムを提案する。 提案手法では,マルコフ連鎖モンテカルロサンプリング法を用いてネットワーク層を反復的に訓練する。 複雑な指数的活性化関数を持つ残留ネットワークの理論的近似速度を一貫して達成する。
  論文  参考訳（メタデータ） (2024-07-16T16:23:40Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Multi-stage Neural Networks: Function Approximator of Machine Precision [0.456877715768796]
  予測誤差をO(10-16)$以下に抑えるマルチステージニューラルネットワークを開発し、ネットワークサイズを大きくし、トレーニングの繰り返しを延長する。 回帰問題と物理インフォームドニューラルネットワークの両方に対する多段階学習による予測誤差は, 有限個の繰り返しにおいて, 機械精度$O(10-16)$の二重浮動小数点にほぼ到達できることを実証した。
  論文  参考訳（メタデータ） (2023-07-18T02:47:32Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Stable Low-rank Tensor Decomposition for Compression of Convolutional Neural Network [19.717842489217684]
  本稿では、畳み込み核のテンソル分解における縮退性に関する最初の研究である。 本稿では,畳み込みカーネルの低ランク近似を安定化し,効率的な圧縮を実現する新しい手法を提案する。 画像分類のための一般的なCNNアーキテクチャに対するアプローチを評価し,提案手法により精度が大幅に低下し,一貫した性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-12T17:10:12Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。