論文の概要: Predictive Attractor Models

• arxiv url: http://arxiv.org/abs/2410.02430v1
• Date: Thu, 3 Oct 2024 12:25:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 03:20:51.332075
• Title: Predictive Attractor Models
• Title（参考訳）: 予測トラクターモデル
• Authors: Ramy Mounir, Sudeep Sarkar,
• Abstract要約: 生成特性が望ましい新しいシーケンスメモリアーキテクチャであるtextitPredictive Attractor Models (PAM) を提案する。 PAMは、皮質小柱の側方抑制を通じて、過去の文脈を一意に表現することで破滅的な忘れを避ける。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。
• 参考スコア（独自算出の注目度）: 9.947717243638289
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sequential memory, the ability to form and accurately recall a sequence of events or stimuli in the correct order, is a fundamental prerequisite for biological and artificial intelligence as it underpins numerous cognitive functions (e.g., language comprehension, planning, episodic memory formation, etc.) However, existing methods of sequential memory suffer from catastrophic forgetting, limited capacity, slow iterative learning procedures, low-order Markov memory, and, most importantly, the inability to represent and generate multiple valid future possibilities stemming from the same context. Inspired by biologically plausible neuroscience theories of cognition, we propose \textit{Predictive Attractor Models (PAM)}, a novel sequence memory architecture with desirable generative properties. PAM is a streaming model that learns a sequence in an online, continuous manner by observing each input \textit{only once}. Additionally, we find that PAM avoids catastrophic forgetting by uniquely representing past context through lateral inhibition in cortical minicolumns, which prevents new memories from overwriting previously learned knowledge. PAM generates future predictions by sampling from a union set of predicted possibilities; this generative ability is realized through an attractor model trained alongside the predictor. We show that PAM is trained with local computations through Hebbian plasticity rules in a biologically plausible framework. Other desirable traits (e.g., noise tolerance, CPU-based learning, capacity scaling) are discussed throughout the paper. Our findings suggest that PAM represents a significant step forward in the pursuit of biologically plausible and computationally efficient sequential memory models, with broad implications for cognitive science and artificial intelligence research.
• Abstract（参考訳）: シークエンシャルメモリ(シークエンシャルメモリ)は、出来事や刺激の順序を正しい順序で正確に記憶する能力であり、多くの認知機能(例えば、言語理解、計画、エピソード記憶形成など)を基盤として、生物学的および人工知能にとって基本的な前提条件である。 生物学的に検証可能な認知の神経科学理論に着想を得て, 生成特性が望ましい新規なシーケンスメモリアーキテクチャである「textit{Predictive Attractor Models (PAM)」を提案する。 PAMは、各入力 \textit{only once} を観察して、オンラインで連続的なシーケンスを学習するストリーミングモデルである。 さらに,大脳皮質小柱の側方抑制により,過去の文脈を一意に表現することで,破滅的な記憶を回避し,新しい記憶が従来学習されていた知識を上書きすることを防ぐことが確認された。 PAMは、予測可能性の連合集合からサンプリングすることで将来の予測を生成し、この生成能力は、予測者と一緒に訓練されたアトラクタモデルによって実現される。 PAMは, 生物学的に妥当な枠組みで, ヘビアン可塑性規則による局所計算で訓練されていることを示す。 その他の望ましい特徴(例えば、耐雑音性、CPUベースの学習、キャパシティスケーリング)は、論文全体で議論されている。 以上の結果から,PAMは生物学的に妥当かつ計算学的に効率的なシーケンシャルメモリモデルの追求において重要な一歩であり,認知科学や人工知能研究に幅広い意味があることが示唆された。

関連論文リスト

• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Memory, Space, and Planning: Multiscale Predictive Representations [5.572701755354684]
  生物学的および人工エージェントの柔軟な行動は、過去からの学習の相互作用と、常に変化する環境における未来を予測することに依存する。 この章は、これらのプロセスが認知地図として知られる経験の構造を学ぶことに依存することを示す計算的、行動的、神経的な証拠をレビューする。
  論文  参考訳（メタデータ） (2024-01-16T21:46:43Z)
• Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
  本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。 本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:34:54Z)
• Computation with Sequences in a Model of the Brain [11.15191997898358]
  神経活動から認知がどのように生じるかは神経科学の中心的な問題である。 本研究は, シナプス重量と可塑性により, 時刻を優先的に捉えることができることを示す。 我々は、任意の有限状態機械が、シーケンスの適切なパターンの提示を通して、同様の方法で学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T15:58:09Z)
• Sequential Memory with Temporal Predictive Coding [6.228559238589584]
  時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。 我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
  論文  参考訳（メタデータ） (2023-05-19T20:03:31Z)
• Sequence Learning and Consolidation on Loihi using On-chip Plasticity [6.9597705368779925]
  我々は,Loihiチップのオンチップ可塑性能力を用いたニューロモルフィックハードウェアの予測学習モデルを開発した。 我々のモデルは、オンライン予測学習モデルは、オンチップの可塑性を持つニューロモルフィックハードウェアにデプロイできるという概念実証の役割を果たしている。
  論文  参考訳（メタデータ） (2022-05-02T04:18:50Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• CogNGen: Constructing the Kernel of a Hyperdimensional Predictive Processing Cognitive Architecture [79.07468367923619]
  神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。 我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
  論文  参考訳（メタデータ） (2022-03-31T04:44:28Z)
• Abstract Spatial-Temporal Reasoning via Probabilistic Abduction and Execution [97.50813120600026]
  時空間推論は人工知能(AI)の課題である 最近の研究は、この種の抽象的推論タスクに焦点を当てている -- Raven's Progressive Matrices (RPM) ニューロシンボリックな確率的アブダクションと実行学習者(PrAE)を提案する。
  論文  参考訳（メタデータ） (2021-03-26T02:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。