論文の概要: Emergence of the Primacy Effect in Structured State-Space Models

• arxiv url: http://arxiv.org/abs/2502.13729v5
• Date: Mon, 08 Sep 2025 14:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:02.921209
• Title: Emergence of the Primacy Effect in Structured State-Space Models
• Title（参考訳）: 構造化状態空間モデルにおけるプライマリー効果の出現
• Authors: Takashi Morita,
• Abstract要約: 構造化状態空間モデル(SSM)は、従来のリカレントニューラルネットワークよりも永続的なメモリ保持を提供するために開発された。 標準SSMの記憶機構は理論上、時間とともに単調に崩壊するように設計されている。 本研究は,合成的,統計的にバランスの取れた記憶タスクを訓練し,評価すると,SSMは*初期*で提示されたデータを主に記憶に保存する。
• 参考スコア（独自算出の注目度）: 0.35534933448684125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured state-space models (SSMs) have been developed to offer more persistent memory retention than traditional recurrent neural networks, while maintaining real-time inference capabilities and addressing the time-complexity limitations of Transformers. Despite this intended persistence, the memory mechanism of canonical SSMs is theoretically designed to decay monotonically over time, meaning that more recent inputs are expected to be retained more accurately than earlier ones. Contrary to this theoretical expectation, however, the present study reveals a counterintuitive finding: when trained and evaluated on a synthetic, statistically balanced memorization task, SSMs predominantly preserve the *initially* presented data in memory. This pattern of memory bias, known as the *primacy effect* in psychology, presents a non-trivial challenge to the current theoretical understanding of SSMs and opens new avenues for future research.
• Abstract（参考訳）: 構造化状態空間モデル(Structured State-space Model, SSM)は、トランスフォーマーのリアルタイム推論機能を維持しながら、従来のリカレントニューラルネットワークよりも永続的なメモリ保持を提供するために開発された。 このような永続性にもかかわらず、正準SSMの記憶機構は理論上は時間とともに単調に崩壊するように設計されており、より最近の入力は以前のものよりも正確に保持されることが期待されている。 しかし、この理論的な期待とは対照的に、本研究では、合成的、統計的にバランスの取れた記憶タスクで訓練され評価された場合、SSMは、主に*初期*で提示されたデータをメモリに保存する。 心理学における*プライマシー効果*として知られるこの記憶バイアスのパターンは、現在のSSMの理論的理解に非自明な挑戦を示し、将来の研究のための新たな道を開く。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Brain-inspired Computational Modeling of Action Recognition with Recurrent Spiking Neural Networks Equipped with Reinforcement Delay Learning [4.9798155883849935]
  行動認識は、その複雑な性質と、この分野における脳の異常なパフォーマンスのために大きな注目を集めている。 現在の行動認識のソリューションは、問題を効果的に解決する際の限界を示すか、必要な生物学的妥当性を欠くかのどちらかである。 本稿では,脳に触発された行動認識モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-17T17:34:16Z)
• The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
  損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。 実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:52:09Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Plasticity Neural Network Based on Astrocytic Influence at Critical Periods, Synaptic Competition and Compensation by Current and Mnemonic Brain Plasticity and Synapse Formation [7.8787868286474]
  RNNのフレームに基づいて,PNNのモデル構築,公式導出,アルゴリズムテストを行った。 提案した課題は、モデル構築、公式導出、アルゴリズムテストによって、神経科学と脳認知の促進が達成されたかどうかである。
  論文  参考訳（メタデータ） (2022-03-19T14:38:54Z)
• Mapping and Validating a Point Neuron Model on Intel's Neuromorphic Hardware Loihi [77.34726150561087]
  インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。 Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。 Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
  論文  参考訳（メタデータ） (2021-09-22T16:52:51Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• Object-based attention for spatio-temporal reasoning: Outperforming neuro-symbolic models with flexible distributed architectures [15.946511512356878]
  適切な帰納的バイアスを持つ完全学習型ニューラルネットワークは,従来のニューラルシンボリックモデルよりもかなり優れた性能を示す。 我々のモデルは、自己意識と学習された「ソフト」オブジェクト中心表現の両方を批判的に利用します。
  論文  参考訳（メタデータ） (2020-12-15T18:57:40Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Fooling the primate brain with minimal, targeted image manipulation [67.78919304747498]
  本稿では、行動に反映される神経活動と知覚の両方の変化をもたらす、最小限の標的画像摂動を生成するための一連の手法を提案する。 我々の研究は、敵対的攻撃、すなわち最小限のターゲットノイズによる画像の操作で同じ目標を共有し、ANNモデルに画像の誤分類を誘導する。
  論文  参考訳（メタデータ） (2020-11-11T08:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。