論文の概要: Emergence of the Primacy Effect in Structured State-Space Models

• arxiv url: http://arxiv.org/abs/2502.13729v4
• Date: Wed, 16 Apr 2025 07:53:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 20:12:20.963196
• Title: Emergence of the Primacy Effect in Structured State-Space Models
• Title（参考訳）: 構造化状態空間モデルにおけるプライマリー効果の出現
• Authors: Takashi Morita,
• Abstract要約: 人工ニューラルネットワーク(ANN)モデルは通常、時間とともに単調に崩壊するメモリで設計される。 構造化状態空間モデル(Structured state-space model)と呼ばれる最近開発されたANNアーキテクチャは、トレーニングと評価の際、予備効果を示す。
• 参考スコア（独自算出の注目度）: 1.4594704809280983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human and animal memory for sequentially presented items is well-documented to be more accurate for those at the beginning and end of the sequence, phenomena known as the primacy and recency effects, respectively. By contrast, artificial neural network (ANN) models are typically designed with a memory that decays monotonically over time. Accordingly, ANNs are expected to show the recency effect but not the primacy effect. Contrary to this theoretical expectation, however, the present study reveals a counterintuitive finding: a recently developed ANN architecture, called structured state-space models, exhibits the primacy effect when trained and evaluated on a synthetic task that mirrors psychological memory experiments. Given that this model was originally designed for recovering neuronal activity patterns observed in biological brains, this result provides a novel perspective on the psychological primacy effect while also posing a non-trivial puzzle for the current theories in machine learning.
• Abstract（参考訳）: シーケンシャルに提示されたアイテムに対する人間と動物の記憶は、それぞれプライマリシーとレクエンシーエフェクトと呼ばれる現象である、シーケンスの開始と終了においてより正確であるように文書化されている。 対照的に、人工知能ニューラルネットワーク(ANN)モデルは通常、時間とともに単調に崩壊するメモリで設計されている。 したがって、ANNは再発効果を示すが、優性効果は示さないと期待されている。 構造化状態空間モデル(Structured State-space model)と呼ばれる最近開発されたANNアーキテクチャは、心理学的記憶実験を反映した合成タスクにおいて、トレーニングと評価を行う際に、予備効果を示す。 このモデルがもともと生物学的脳で観察される神経活動パターンの回復のために設計されたものであることを考えれば、この結果は心理学的優越効果の新たな視点を提供すると同時に、機械学習における現在の理論に対する非自明なパズルを提起する。

関連論文リスト

• Memory Determines Learning Direction: A Theory of Gradient-Based Optimization in State Space Models [2.6599014990168834]
  状態空間モデル(SSM)はトランスフォーマーを上回る可能性を示すことで注目を集めている。 本研究では,このような説明を行い,改良されたトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-01T06:30:42Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing [56.66469232740998]
  構造化状態空間モデル (Structured State Space Models, SSMs) は, 強い相対バイアスによって本質的に制限されていることを示す。 このバイアスにより、モデルが遠方の情報を思い出す能力が損なわれ、堅牢性の問題がもたらされる。 本研究では, 状態遷移行列の2つのチャネルをSSMで分極し, それぞれ0と1に設定し, 電流バイアスと過平滑化に同時に対処することを提案する。
  論文  参考訳（メタデータ） (2024-12-31T22:06:39Z)
• Deep reinforcement learning with time-scale invariant memory [1.338174941551702]
  我々は、スケール不変メモリの計算神経科学モデルを深部強化学習(RL)エージェントに統合する。 このようなエージェントは、広範囲の時間スケールで頑健に学習できることを示す。 この結果は、神経科学と認知科学の計算原理をディープニューラルネットワークに組み込むことで、複雑な時間力学への適応性を高めることを示唆している。
  論文  参考訳（メタデータ） (2024-12-19T07:20:03Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Mathematical Formalism for Memory Compression in Selective State Space Models [0.0]
  状態空間モデル(SSM)は、シーケンスデータの長距離依存性をモデル化するための強力なフレームワークとして登場した。 我々は、選択状態空間モデルにおけるメモリ圧縮を理解するための厳密な数学的枠組みを開発する。 選択型SSMは従来のRNNモデルと比較してメモリ効率と処理速度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-04T05:45:48Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Brain-inspired Computational Modeling of Action Recognition with Recurrent Spiking Neural Networks Equipped with Reinforcement Delay Learning [4.9798155883849935]
  行動認識は、その複雑な性質と、この分野における脳の異常なパフォーマンスのために大きな注目を集めている。 現在の行動認識のソリューションは、問題を効果的に解決する際の限界を示すか、必要な生物学的妥当性を欠くかのどちらかである。 本稿では,脳に触発された行動認識モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:34:16Z)
• The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
  損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。 実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:52:09Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Sequential Memory with Temporal Predictive Coding [6.228559238589584]
  時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。 我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
  論文  参考訳（メタデータ） (2023-05-19T20:03:31Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Plasticity Neural Network Based on Astrocytic Influence at Critical Periods, Synaptic Competition and Compensation by Current and Mnemonic Brain Plasticity and Synapse Formation [7.8787868286474]
  RNNのフレームに基づいて,PNNのモデル構築,公式導出,アルゴリズムテストを行った。 提案した課題は、モデル構築、公式導出、アルゴリズムテストによって、神経科学と脳認知の促進が達成されたかどうかである。
  論文  参考訳（メタデータ） (2022-03-19T14:38:54Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures [15.946511512356878]
  適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。 我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
  論文  参考訳（メタデータ） (2020-12-15T18:57:40Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
  本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。 我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
  論文  参考訳（メタデータ） (2020-11-11T08:30:54Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。