論文の概要: Weight-Space Linear Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2506.01153v1
• Date: Sun, 01 Jun 2025 20:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.95566
• Title: Weight-Space Linear Recurrent Neural Networks
• Title（参考訳）: 重み空間線形リカレントニューラルネットワーク
• Authors: Roussel Desmond Nzoyem, Nawid Keshtmand, Idriss Tsayem, David A. W. Barton, Tom Deakin,
• Abstract要約: WARP(Weight-space Adaptive Recurrent Prediction)は、重み空間学習を線形反復で統一する強力なフレームワークである。 WARPは、様々な分類タスクにおいて最先端のベースラインと一致しているか、あるいは超越しているかを示す。
• 参考スコア（独自算出の注目度）: 0.5937476291232799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce WARP (Weight-space Adaptive Recurrent Prediction), a simple yet powerful framework that unifies weight-space learning with linear recurrence to redefine sequence modeling. Unlike conventional recurrent neural networks (RNNs) which collapse temporal dynamics into fixed-dimensional hidden states, WARP explicitly parametrizes the hidden state as the weights of a distinct root neural network. This formulation promotes higher-resolution memory, gradient-free adaptation at test-time, and seamless integration of domain-specific physical priors. Empirical validation shows that WARP matches or surpasses state-of-the-art baselines on diverse classification tasks, spanning synthetic benchmarks to real-world datasets. Furthermore, extensive experiments across sequential image completion, dynamical system reconstruction, and multivariate time series forecasting demonstrate its expressiveness and generalization capabilities. Critically, WARP's weight trajectories offer valuable insights into the model's inner workings. Ablation studies confirm the architectural necessity of key components, solidifying weight-space linear RNNs as a transformative paradigm for adaptive machine intelligence.
• Abstract（参考訳）: WARP(Weight-space Adaptive Recurrent Prediction)は、線形再帰で重み空間学習を統一し、シーケンスモデリングを再定義するシンプルなフレームワークである。 時間的ダイナミクスを固定次元の隠れ状態に分解する従来のリカレントニューラルネットワーク(RNN)とは異なり、WARPは隠された状態を異なるルートニューラルネットワークの重みとして明示的にパラメトリズする。 この定式化は、高分解能メモリ、テスト時の勾配なし適応、およびドメイン固有の物理的事前のシームレスな統合を促進する。 実証的な検証は、WARPがさまざまな分類タスクの最先端のベースラインと一致しているか、あるいは超えていることを示している。 さらに、逐次的な画像補完、動的システム再構成、多変量時系列予測などにわたる広範な実験により、その表現性と一般化能力を示す。 WARPの重量軌道は、モデルの内部動作に関する貴重な洞察を提供する。 アブレーション研究は、適応機械インテリジェンスのための変換パラダイムとして、重み空間線形RNNを固形化する重要なコンポーネントのアーキテクチャの必要性を裏付ける。

関連論文リスト

• Deep Recurrent Stochastic Configuration Networks for Modelling Nonlinear Dynamic Systems [3.8719670789415925]
  本稿ではディープリカレント構成ネットワーク(DeepRSCN)と呼ばれる新しいディープリカレント計算フレームワークを提案する。 DeepRSCNはインクリメンタルに構築され、すべての貯水池ノードは最終的な出力に直接リンクする。 トレーニングサンプルのセットが与えられた場合、DeepRSCNは、カスケードされた入力読み出し重みを持つランダム基底関数からなる学習表現を迅速に生成できる。
  論文  参考訳（メタデータ） (2024-10-28T10:33:15Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。