論文の概要: Fast weight programming and linear transformers: from machine learning to neurobiology

• arxiv url: http://arxiv.org/abs/2508.08435v1
• Date: Mon, 11 Aug 2025 19:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.217672
• Title: Fast weight programming and linear transformers: from machine learning to neurobiology
• Title（参考訳）: 高速ウェイトプログラミングと線形トランスフォーマー--機械学習から神経生物学へ
• Authors: Kazuki Irie, Samuel J. Gershman,
• Abstract要約: 機械学習のための人工知能ニューラルネットワークの最近の進歩は、リカレントニューラルネットワーク(RNN)アーキテクチャのファミリーを確立している。 FWP(Fast Weight Programmers)は、入力観測の関数として、シナプス重みが時間とともに動的に変化するニューラルネットワークとして解釈することができる。 我々は、FWPと脳のシナプス可塑性モデルとの関係について論じ、自然と人工知能の収束を示唆する。
• 参考スコア（独自算出の注目度）: 14.638220367409277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in artificial neural networks for machine learning, and language modeling in particular, have established a family of recurrent neural network (RNN) architectures that, unlike conventional RNNs with vector-form hidden states, use two-dimensional (2D) matrix-form hidden states. Such 2D-state RNNs, known as Fast Weight Programmers (FWPs), can be interpreted as a neural network whose synaptic weights (called fast weights) dynamically change over time as a function of input observations, and serve as short-term memory storage; corresponding synaptic weight modifications are controlled or programmed by another network (the programmer) whose parameters are trained (e.g., by gradient descent). In this Primer, we review the technical foundations of FWPs, their computational characteristics, and their connections to transformers and state space models. We also discuss connections between FWPs and models of synaptic plasticity in the brain, suggesting a convergence of natural and artificial intelligence.
• Abstract（参考訳）: 機械学習、特に言語モデリングのための人工知能ニューラルネットワークの最近の進歩は、ベクトル型隠れ状態を持つ従来のRNNとは異なり、2次元(2D)行列型隠れ状態を使用する、リカレントニューラルネットワーク(RNN)アーキテクチャのファミリを確立している。 これらの2D状態のRNNは、FWP(Fast Weight Programmers)と呼ばれ、入力観測の関数として時間とともにシナプス重み(高速ウェイトと呼ばれる)が動的に変化するニューラルネットワークとして解釈することができ、短期記憶として機能する。 本稿では,FWPの技術的基礎,その計算特性,変換器や状態空間モデルとの接続について概観する。 また、FWPと脳のシナプス可塑性モデルとの関係についても論じ、自然と人工知能の融合を示唆している。

関連論文リスト

• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Interpolating neural network: A novel unification of machine learning and interpolation theory [6.778453409974683]
  我々は、エンジニアリングソフトウェア2.0を実現するための補間ニューラルネットワーク(INN)を導入する。 INNは、従来の多層パーセプトロン(MLP)や物理インフォームドニューラルネットワーク(PINN)よりも、モデル精度に匹敵するトレーニング可能なパラメータや解決可能なパラメータが少ない。
  論文  参考訳（メタデータ） (2024-04-16T05:40:30Z)
• ANTN: Bridging Autoregressive Neural Networks and Tensor Networks for Quantum Many-Body Simulation [5.283885355422517]
  我々は,テンソルネットワークと自己回帰ニューラルネットワークを橋渡しする新しいアーキテクチャであるAutoregressive NeuralNetを開発した。 自己回帰ニューラルネットワークは、正規化波動関数をパラメータ化し、テンソルネットワークと自己回帰ニューラルネットワークの表現性を一般化し、自己回帰ニューラルネットワークから様々な対称性を継承することを示す。 我々の研究は、量子多体物理シミュレーション、量子技術設計、人工知能における生成モデリングの新しい機会を開く。
  論文  参考訳（メタデータ） (2023-04-04T17:54:14Z)
• Neuromorphic Artificial Intelligence Systems [58.1806704582023]
  フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。 この記事では、そのような制限と、それらが緩和される方法について論じる。 これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
  論文  参考訳（メタデータ） (2022-05-25T20:16:05Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。