論文の概要: Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2407.06756v1
- Date: Tue, 9 Jul 2024 11:07:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 18:26:46.456465
- Title: Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning
- Title（参考訳）: 強化学習における周期的活性化関数の周波数と一般化
- Authors: Augustine N. Mavor-Parker, Matthew J. Sargent, Caswell Barry, Lewis Griffin, Clare Lyle,
- Abstract要約: 周期的なアクティベーションは低周波表現を学習し、その結果、ブートストラップされたターゲットへの過度な適合を避けることが示される。
また、重み減衰正則化は周期的活性化関数のオーバーフィットを部分的に相殺できることを示す。
- 参考スコア（独自算出の注目度）: 9.6812227037557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Periodic activation functions, often referred to as learned Fourier features have been widely demonstrated to improve sample efficiency and stability in a variety of deep RL algorithms. Potentially incompatible hypotheses have been made about the source of these improvements. One is that periodic activations learn low frequency representations and as a result avoid overfitting to bootstrapped targets. Another is that periodic activations learn high frequency representations that are more expressive, allowing networks to quickly fit complex value functions. We analyse these claims empirically, finding that periodic representations consistently converge to high frequencies regardless of their initialisation frequency. We also find that while periodic activation functions improve sample efficiency, they exhibit worse generalization on states with added observation noise -- especially when compared to otherwise equivalent networks with ReLU activation functions. Finally, we show that weight decay regularization is able to partially offset the overfitting of periodic activation functions, delivering value functions that learn quickly while also generalizing.
- Abstract（参考訳）: 周期的活性化関数は、学習されたフーリエ特徴と呼ばれ、様々な深いRLアルゴリズムのサンプル効率と安定性を改善するために広く実証されている。
これらの改善の源泉について、おそらく非互換な仮説が立てられている。
ひとつは、周期的なアクティベーションは低頻度表現を学習し、結果としてブートストラップされたターゲットへの過度な適合を避けることである。
また、周期的アクティベーションはより表現力のある高周波表現を学習し、ネットワークが複雑な値関数に迅速に適合できるようにする。
我々はこれらの主張を実証的に分析し、周期表現が初期化周波数に関係なく常に高周波数に収束することを発見した。
また、周期的活性化関数はサンプリング効率を向上するが、観測ノイズを付加した状態では、特にReLUアクティベーション関数を持つ他の等価ネットワークと比較して、より悪い一般化を示す。
最後に、重み劣化正規化は周期的活性化関数の過度な適合を部分的に相殺でき、同時に一般化しながら素早く学習する値関数を提供する。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Denoising and Extension of Response Functions in the Time Domain [48.52478746418526]
量子系の応答関数は、外部摂動に対する系の応答を記述する。
平衡系と定常状態系では、周波数領域の正のスペクトル関数に対応する。
論文 参考訳（メタデータ） (2023-09-05T20:26:03Z) - Enhancing Representation Learning for Periodic Time Series with Floss: A
Frequency Domain Regularization Approach [26.92614573306619]
本稿では、周波数領域における学習表現を自動的に正規化するFlossと呼ばれる教師なし手法を提案する。
我々は、Flossの有効性を示すために、一般的な時系列分類、予測、異常検出タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-02T08:37:45Z) - On the Activation Function Dependence of the Spectral Bias of Neural
Networks [0.0]
ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。
本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。
我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
論文 参考訳（メタデータ） (2022-08-09T17:40:57Z) - Functional Regularization for Reinforcement Learning via Learned Fourier
Features [98.90474131452588]
本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。
その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-12-06T18:59:52Z) - Model based Multi-agent Reinforcement Learning with Tensor
Decompositions [52.575433758866936]
本稿では、CPランクの低いテンソルとして遷移関数と報酬関数をモデル化することにより、未探索の状態-作用対上の状態-作用空間の一般化を考察する。
合成MDPの実験により、モデルに基づく強化学習アルゴリズムでテンソル分解を用いることで、真の遷移関数と報酬関数が実際に低ランクである場合、はるかに高速な収束が得られることが示された。
論文 参考訳（メタデータ） (2021-10-27T15:36:25Z) - Periodic Activation Functions Induce Stationarity [19.689175123261613]
本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。
一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
論文 参考訳（メタデータ） (2021-10-26T11:10:37Z) - Modulated Periodic Activations for Generalizable Local Functional
Representations [113.64179351957888]
我々は,複数のインスタンスに一般化し,最先端の忠実性を実現する新しい表現を提案する。
提案手法は,画像,映像,形状の汎用的な機能表現を生成し,単一信号に最適化された先行処理よりも高い再構成品質を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:04Z) - Continuous Submodular Function Maximization [91.17492610120324]
連続部分モジュラリティ (continuous submodularity) は、幅広い応用を持つ関数のクラスである。
連続的な部分モジュラ最適化の応用は、影響、推論のMAP、フィールドへの推論など多岐にわたる。
論文 参考訳（メタデータ） (2020-06-24T04:37:31Z) - Neural Networks Fail to Learn Periodic Functions and How to Fix It [6.230751621285322]
本稿では,ReLU, tanh, sigmoidなどの標準活性化関数が単純な周期関数の外挿を学ばないことを示す。
我々は、周期関数を学ぶために所望の周期的帰納バイアスを達成する新しいアクティベーションである$x + sin2(x)$を提案する。
実験により,提案手法を温度・財務データ予測に適用した。
論文 参考訳（メタデータ） (2020-06-15T07:49:33Z) - RobustPeriod: Time-Frequency Mining for Robust Multiple Periodicity
Detection [36.254037216142244]
複数の周期性検出のための頑健で汎用的なフレームワークを提案する。
我々のアルゴリズムは、時系列を複数の時間周波数スケールに変換するために、最大重なり合う離散ウェーブレット変換を適用している。
合成および実世界のデータセットの実験により、我々のアルゴリズムは、単周期検出と複数周期検出の両方において、他の一般的なデータセットよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-02-21T20:10:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。