論文の概要: Exploring the Noise Resilience of Successor Features and Predecessor Features Algorithms in One and Two-Dimensional Environments

• arxiv url: http://arxiv.org/abs/2304.06894v2
• Date: Wed, 7 Feb 2024 08:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 20:47:47.189399
• Title: Exploring the Noise Resilience of Successor Features and Predecessor Features Algorithms in One and Two-Dimensional Environments
• Title（参考訳）: 1次元および2次元環境における後継特徴の雑音レジリエンスと前任特徴アルゴリズムの検討
• Authors: Hyunsu Lee
• Abstract要約: 本研究は,雑音環境下での逐次的特徴(SF)と先行的特徴(PF)アルゴリズムのダイナミクスを考察する。 SFは優れた適応性を示し、様々な騒音レベルにわたって堅牢な性能を維持した。 本研究は、計算神経科学と強化学習の橋渡し談話に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Based on the predictive map theory of spatial learning in animals, this study delves into the dynamics of Successor Feature (SF) and Predecessor Feature (PF) algorithms within noisy environments. Utilizing Q-learning and Q($\lambda$) learning as benchmarks for comparative analysis, our investigation yielded unexpected outcomes. Contrary to prevailing expectations and previous literature where PF demonstrated superior performance, our findings reveal that in noisy environments, PF did not surpass SF. In a one-dimensional grid world, SF exhibited superior adaptability, maintaining robust performance across varying noise levels. This trend of diminishing performance with increasing noise was consistent across all examined algorithms, indicating a linear degradation pattern. The scenario shifted in a two-dimensional grid world, where the impact of noise on algorithm performance demonstrated a non-linear relationship, influenced by the $\lambda$ parameter of the eligibility trace. This complexity suggests that the interaction between noise and algorithm efficacy is tied to the environmental dimensionality and specific algorithmic parameters. Furthermore, this research contributes to the bridging discourse between computational neuroscience and reinforcement learning (RL), exploring the neurobiological parallels of SF and PF learning in spatial navigation. Despite the unforeseen performance trends, the findings enrich our comprehension of the strengths and weaknesses inherent in RL algorithms. This knowledge is pivotal for advancing applications in robotics, gaming AI, and autonomous vehicle navigation, underscoring the imperative for continued exploration into how RL algorithms process and learn from noisy inputs.
• Abstract（参考訳）: 本研究は, 動物における空間学習の予測地図理論に基づいて, ノイズ環境下での継承特徴(SF)と先行特徴(PF)アルゴリズムのダイナミクスを考察した。 比較分析のベンチマークとしてQ-learningとQ($\lambda$)ラーニングを用い,予期せぬ結果を得た。 PFが優れた性能を示した従来の文献と対照的に,ノイズの多い環境では,PFはSFを超えなかった。 1次元グリッドの世界では、SFは優れた適応性を示し、様々なノイズレベルにわたって堅牢な性能を維持した。 ノイズの増加に伴う性能低下傾向は, 線形劣化パターンを示す全アルゴリズムで一貫した傾向を示した。 このシナリオは2次元グリッドの世界にシフトし、ノイズがアルゴリズムの性能に及ぼす影響が非線形関係を示し、適性トレースの$\lambda$パラメータに影響された。 この複雑さは、ノイズとアルゴリズムの有効性の相互作用が、環境次元と特定のアルゴリズムパラメータと結びついていることを示唆している。 さらに,計算神経科学と強化学習(RL)の分岐談話に寄与し,空間ナビゲーションにおけるSFとPF学習の神経生物学的並列性を探究する。 予期せぬ性能傾向にもかかわらず、この結果はRLアルゴリズムに固有の長所と短所の理解を深める。 この知識は、ロボット工学、ゲーミングAI、そして自律走行車ナビゲーションにおける応用の進展に欠かせないものであり、RLアルゴリズムがどのように処理し、ノイズの多い入力から学習するかを継続的に探究するための必須条件となっている。

関連論文リスト

• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Enhancing PAC Learning of Half spaces Through Robust Optimization Techniques [0.0]
  PACは、一定の悪意のある雑音下でハーフスペースを学習し、トレーニングデータのごく一部が逆向きに破損する。 半宇宙学習における雑音耐性を考慮に入れた理論的枠組みを拡張した,新しい効率的なアルゴリズムを提案する。 本稿では,従来の最先端手法と比較して,悪質な雑音に対して優れた頑健性を示すアルゴリズムの性能を包括的に分析する。
  論文  参考訳（メタデータ） (2024-10-21T23:08:17Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Walking Noise: On Layer-Specific Robustness of Neural Architectures against Noisy Computations and Associated Characteristic Learning Dynamics [1.5184189132709105]
  本稿では,異なる分類タスクとモデルアーキテクチャに対する加法的,乗法的,混合ノイズの影響について論じる。 本研究では,ロバスト性を測定するため,層固有のノイズを注入するウォーキングノイズ法を提案する。 我々は,この方法論の実践的利用に関する議論をまとめ,ノイズの多い環境での適応型マルチエグゼクティブの活用について論じる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:08Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• On the Theoretical Properties of Noise Correlation in Stochastic Optimization [6.970991851511823]
  PGDとアンチPGDに比較して,fPGDは探索能力を有することを示す。 これらの結果は、機械学習モデルにノイズを利用する新しい方法へとフィールドを開放する。
  論文  参考訳（メタデータ） (2022-09-19T16:32:22Z)
• A SAR speckle filter based on Residual Convolutional Neural Networks [68.8204255655161]
  本研究では,Convolutional Neural Networks(CNN)に基づく深層学習(DL)アルゴリズムを用いて,Sentinel-1データからスペックルノイズをフィルタリングする新しい手法を提案する。 得られた結果は、技術の現状と比較すると、ピーク信号対雑音比(PSNR)と構造類似度指数(SSIM)の点で明確な改善を示しています。
  論文  参考訳（メタデータ） (2021-04-19T14:43:07Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Generating Human-Like Movement: A Comparison Between Two Approaches Based on Environmental Features [4.511923587827301]
  環境特性に基づいて人間のような軌道を生成するための2つの新しいアルゴリズムが提示されている。 人間の類似性は、最終生成軌道を現実的なものと判断する人間の専門家によってテストされている。 予め定義した基準により,実際の軌道に近い軌道を生成するにもかかわらず,特徴ベースA*アルゴリズムは,アトラクションベースA*アルゴリズムと比較して時間効率が低いことを示す。
  論文  参考訳（メタデータ） (2020-12-11T16:45:32Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。