論文の概要: The effect of synaptic weight initialization in feature-based successor representation learning

• arxiv url: http://arxiv.org/abs/2111.02017v1
• Date: Wed, 3 Nov 2021 04:42:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 06:57:21.325847
• Title: The effect of synaptic weight initialization in feature-based successor representation learning
• Title（参考訳）: 機能型後継表現学習におけるシナプス重み初期化の効果
• Authors: Hyunsu Lee
• Abstract要約: 最近の研究は、海馬機能(HPC)が予測地図であると主張している。 本稿では,神経科学・人工知能の観点からの知能の理解を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: After discovering place cells, the idea of the hippocampal (HPC) function to represent geometric spaces has been extended to predictions, imaginations, and conceptual cognitive maps. Recent research arguing that the HPC represents a predictive map; and it has shown that the HPC predicts visits to specific locations. This predictive map theory is based on successor representation (SR) from reinforcement learning. Feature-based SR (SF), which uses a neural network as a function approximation to learn SR, seems more plausible neurobiological model. However, it is not well known how different methods of weight (W) initialization affect SF learning. In this study, SF learners were exposed to simple maze environments to analyze SF learning efficiency and W patterns pattern changes. Three kinds of W initialization pattern were used: identity matrix, zero matrix, and small random matrix. The SF learner initiated with random weight matrix showed better performance than other three RL agents. We will discuss the neurobiological meaning of SF weight matrix. Through this approach, this paper tried to increase our understanding of intelligence from neuroscientific and artificial intelligence perspective.
• Abstract（参考訳）: 場所細胞を発見した後、幾何学空間を表す海馬関数(HPC)のアイデアは、予測、想像、概念認知マップにまで拡張された。 近年の研究では、HPCは予測地図であり、HPCは特定の場所への訪問を予測している。 この予測地図理論は強化学習による後継表現(sr)に基づいている。 特徴ベースSR(Feature-based SR, SF)は、ニューラルネットワークを関数近似としてSRを学習する。 しかし、重量の初期化(W)がSF学習にどのように影響するかはよく分かっていない。 本研究では,SF学習者が単純な迷路環境に曝露し,学習効率とWパターンの変化を分析した。 3種類のW初期化パターンが, 同一性行列, ゼロ行列, 小さいランダム行列を用いた。 ランダムな重み行列で開始したSF学習者は,他の3つのRLエージェントよりも優れた性能を示した。 SF重み行列の神経生物学的意義について論じる。 このアプローチを通じて,神経科学と人工知能の観点から,知性に対する理解を高めることを試みた。

関連論文リスト

• LOCAL: Learning with Orientation Matrix to Infer Causal Structure from Time Series Data [13.390666123493409]
  LOCALは動的因果構造を復元するための効率的で実装が容易で制約のない手法である。 ACMLは学習可能な優先度ベクトルとGumbel-Sigmoid関数を用いて因果マスクを生成する。 DGPLは因果学習を分解された行列生成物に変換し、高次元データの動的因果構造をキャプチャする。
  論文  参考訳（メタデータ） (2024-10-25T10:48:41Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
  提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。 大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T14:30:06Z)
• RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for Supervised Learning [0.0]
  そこで本研究では,教師あり学習のための,頑健で,有界で,スパースで,スムーズなロス関数(RoBoSS)を提案する。 未確認データの一般化のために,$mathcalL_rbss$-SVMという新しいロバストアルゴリズムを導入する。 提案した$mathcalL_rbss$-SVM を実世界の UCI と KEEL のデータセットで18ドルで評価した。
  論文  参考訳（メタデータ） (2023-09-05T13:59:50Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Why So Pessimistic? Estimating Uncertainties for Offline RL through Ensembles, and Why Their Independence Matters [35.17151863463472]
  オフライン強化学習(RL)における悲観主義の根源として、Q$関数のアンサンブルをどのように活用できるかを、再検討する。 我々は、完全に独立したネットワークに基づいて、独立に計算されたターゲットと$Q$関数のアンサンブルを訓練する実用的なオフラインRLアルゴリズムMSGを提案する。 D4RL と RL Unplugged のオフライン RL ベンチマーク実験により,深いアンサンブルを持つMSG が高度に調整された最先端の手法を広いマージンで超えることを示した。
  論文  参考訳（メタデータ） (2022-05-27T01:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。